2 Antworten in diesem Thema

[darookie]

Hiho,

leider stoße ich gerade auf Probleme beim Webscraping. Es geht um das Portal von aswo.com. Dort wird der Content nachträglich über Javascript eingefügt, was natürlich beim puren Python unmöglich ist.

 

Das einzige was ich finden konnte war die Möglichkeit über Selenium zu gehen, aber das ist nicht wirklich optimal. Es ist langsam und Fehleranfällig.

 

Gibt es denn andere Möglichkeiten solche Inhalte auszulesen? Wie macht das google etc.?

 

bye

darookie

[sup3ria]

Du benötigst einen "Headless Browser" der Javascript ausführen kann.

 

Eine ausführliche Liste findest du hier:

Please Login HERE or Register HERE to see this link!

 

Ich verwende gerne PhantomJS mit dem Wrapper Splinter.

#!/usr/bin/python
from splinter import Browser  # pip install splinter # pip install selenium

with Browser('phantomjs') as browser:
	url = 'http://www.aswo.com/index.php?id=56&no_cache=1'
	browser.visit(url)
	print browser.html

Ansonsten kann Ich auch noch ghost.py empfehlen.

 

Ich kann dir auch gerne sonst noch beim parsen helfen falls du genau sagst was du da gescraped haben willst.

Bearbeitet von sup3ria, 22 June 2016 - 20:46 Uhr.

[darookie]

Du benötigst einen "Headless Browser" der Javascript ausführen kann.

 

Eine ausführliche Liste findest du hier:

Please Login HERE or Register HERE to see this link!

Danke, genau so ein Feedback / Input habe ich gebraucht. Dann Ärger ich mich nun nicht weiter mit Selenium/Firefox rum
Ich meld mich bei Bedarf. Thx!