4 Antworten in diesem Thema

[Emalik Xantier]

Hallo zusammen

 

Ich habe kurz aus früheren Scripts ein URL-Überarbeitungsscript geschrieben, da ich dies gerade benötige.

Es ist ganz trivial und macht eigentlich nur folgendes:

 

1. Liest File (Liste) ein

2. Entfernt alle Leerzeichen

3. Parst die URL auf die Base Url

4. Checkt für Duplikaten

5. Schreibt es in eine File

 

Wenn jemand kurz ein Auge darauf werfen kann und mir mitteilen kann was besser/anders gemacht werden soll und warum, wäre ich sehr dankbar. Da ich nie einen professionellen Python Kurs gemacht habe bzw.  den Aufbau der Sprache genäuer angeschaut habe, dachte ich wäre es noch klug es mal hier vor zu zeigen.

 

import time
from urlparse import urlparse

# START EXECUTION TIME ---------------------
start_time = time.time()

# FUNCTIONS ----------------------------------

def read_file(file_input):
	file = open(file_input, 'r')
	urls = file.readlines()
	file.close()
	return urls

def trim(url):
	url = url.strip()
	return url

def parse(url):
	parsed = urlparse(url)
	url = parsed.scheme + "://" + parsed.netloc
	return url

def remove_duplicates(urls):
    return list(set(urls))

# MAIN ---------------------------------------

file_input = "input.txt"
file_output = "output.txt"

urls = read_file(file_input)

filtered = []

for url in urls:
	url = trim(url)
	url = parse(url)
	filtered.append(url)

filtered = remove_duplicates(filtered)

with open(file_output, 'a') as file:
	for url in filtered:
		file.write("%s\n" % url)
		print " [*] ADDED: " + url

# END ----------------------------------------

print "\n [*] FINISHED! Execution time: %.4s seconds" % (time.time() - start_time)
time.sleep(1)
print " [*] Press any key to exit..."
raw_input()
exit()

 

Vielleicht kann dies ja sogar der ein oder andere brauchen

Danke im Voraus für jegliche Antworten!

 

Gruss Emxa

Bearbeitet von Emalik Xantier, 06 August 2015 - 21:54 Uhr.

[ueEqlL]

def write_file(url):
	filename = "output.txt"
	file = open(filename, 'a')
	file.write("%s\n" % url)
	file.close()

for url in filtered:
	write_file(url)

Du oeffnest das File und schreibst und closed es bei jemden Durchlauf. Denkfehler?

[Emalik Xantier]

Genau solches Feedback brauche ich! Das Script ist um gut die Hälfte schneller geworden

Wurde aktualisiert.

Bearbeitet von Emalik Xantier, 06 August 2015 - 21:27 Uhr.

[ueEqlL]

Ich mag das 'with-Stament'

Please Login HERE or Register HERE to see this link!

The above with statement will automatically close the file after the nested block of code. (Continue reading to see exactly how the close occurs.) The advantage of using a with statement is that it is guaranteed to close the file no matter how the nested block exits. If an exception occurs before the end of the block, it will close the file before the exception is caught by an outer exception handler. If the nested block were to contain a return statement, or a continue or break statement, the with statement would automatically close the file in those cases, too.

Bearbeitet von ueEqlL, 06 August 2015 - 21:38 Uhr.

[Emalik Xantier]

Nochmal ne gute Sekunde schneller.

Ich frage mich nur weshalb genau... Der Unterschied ist ja egtl nur dasses wieder closed bevor es ein Fehler ausgeben würde...?