Eine Antwort in diesem Thema

[AxelSpringer]

Hallo zusammen,

 

vorneweg möchte ich erstmal mitteilen, dass ich neu in der Welt des Programmierens bin. Allerdings bin ich sehr ambitioniert, um von euch zu lernen und meine skills zu verbessern. Ich weiß auch nicht, ob dieses Forum noch aktiv ist, trotzdem stelle ich mal meine Frage.

 

Ich möchte mit python und BS4 eine Webseite scrapen.

Folgende Probleme habe ich dabei:

 

1. Die Webseite gibt an um die 100k Daten zu beeinhalten. Über die Suche kommen allerdings nur ca. 5k zum vorschein. Das heißt die anderen sind versteckt und werden nicht angezeigt. Für mein Projekt brauche ich aber alle Daten
2. Über Selenium funktioniert das Scraping nicht, da nach 2-3 Seiten eine Maske erscheint, die dich auffordert, dein Profil auf Premium zu upgraden.

Meine Frage ist, ob es eine Möglichkeit gibt, die Datenpakete irgendwie abzugreifen oder die Maske zu umgehen. Hat man Möglichkeiten ohne Selenium (jede Seite einzeln abzufragen), Daten über evtl. die Sitemap oder sonstiges abzugreifen?

 

Bin Dankbar für jede Hilfe. Und falls ich eine Forenregel nicht beachtet habe, bitte ich dies zu entschuldigen.

[TaubenLiebhaber]

Ohne den Aufbau und die Struktur der betreffenden Seite zu kennen, ist es schwer eine genaue Aussage zu treffen.
Gern kannst du mir, falls du möchtest, dazu eine PM senden.

Ansonsten kannst du dein Script gerne auch hier reinstellen, dann können andere draufschauen und dir Tipps geben.

Generell würde ich sagen, dass in deinem Script eine Funktion benötigt wird, welche die Session zurücksetzt. Also eventuelle Cookies, damit du als neuer Besucher der Webseite angesehen wirst. Eventuell sind auch Proxys nötig.