Ich suche nach einer Möglichkeit alle vorhandenen Wörter von einer Seite zu crawlen und diese anschließend in einer .txt oder Datenbank zu speichern. Das ganze sollte unter Linux machbar sein.
Hat jemand eine Idee wie sich das realisieren lässt?
Du bist nicht angemeldet und hast somit nur einen sehr eingeschränkten Zugriff auf die Features unserer Community.
Um vollen Zugriff zu erlangen musst du dir einen Account erstellen. Der Vorgang sollte nicht länger als 1 Minute dauern.
Thanked by 1 Member:
|
|
from BeautifulSoup import BeautifulSoup #pip install beautifulsoup4 import requests #pip install requests url = 'http://pastebin.com/nBGziNTr' r = requests.get(url) soup = BeautifulSoup(r.text) text = soup.find("textarea", { "id" : "paste_code" }).getText().encode('utf-8', 'ignore') words = text.split(' ') for i in words: print i
Output:
fort
allied
luxury
absently
key
bases
flophouse
orphanage
wolves
bare
Um die Wörter in eine CSV-Datei zu schreiben muss man folgendes machen:
import csv myfile = open('myfile.csv', 'wb') wr = csv.writer(myfile, quoting=csv.QUOTE_ALL) wr.writerow(words)
Thanked by 1 Member:
|
|
Thema | Forum | Themenstarter | Statistik | Letzter Beitrag | |
---|---|---|---|---|---|
Riesige Sammlung von Marketing Tools |
Tutorials | White-Warti |
|
|
|
Benötige Hilfe bei RAT + FUD Cryptermalware, rat, virus, crypter und 2 weitere... |
Rats | Tom38 |
|
|
|
[TUT] Alle deutschen PayTV und HD Sender gratis (2022)Sky, HD, Bundesliga, Paytv und 2 weitere... |
Tutorial Ecke | PaulaAbdul |
|
|