Zum Inhalt springen
Marketing Factory Digital GmbH
Kontakt
Logo Marketing Factory Digital GmbH
  • Agentur
    • Aktuelles
    • Über uns
    • Geschichte
  • Leistungen
    • Beratung, Analyse und Strategie
    • Programmierung und Entwicklung
      • Schnittstellen
      • PIM-/ERP-Anbindungen
      • Individualentwicklungen
      • Seamless CMS Integration
    • Hosting und Betreuung
      • Cloud-Strategien
      • Hosting Partner der Marketing Factory
    • Leistungen mit Dritten
  • Technologie
    • TYPO3
      • Aktuelle TYPO3-Versionen
    • Shopware
    • IT-Sicherheit
      • DDoS-Protection
      • Continuous Upgrading
      • Privacy First
    • Tech Stack
      • Bekenntnis zu Open Source
      • Technologieauswahl
      • PHP-Ökosystem
      • Containerisierung & Clustering
      • Content Delivery Networks
      • Suchtechnologien
  • Referenzen
    • Projekte
    • Kunden
      • Kundenliste
    • Screenshot der Homepage der neuen Maxion Wheels WebsiteNEU: Relaunch der Corporate Website von Maxion Wheels
  • Community
    • Community-Initiativen
  • Blog
  • Kontakt
  • Deutsch
  • English

Sie sind here:

  1. Blog
  2. Angriff des Zombie Bots?
Grabsteine auf einem Friedhof, verregnete Morgendämmerung
16.07.2021

Angriff des Zombie Bots?


Zeige größere Version von: Graylog-Histogramm: Zugriffe pro Minute vom Seekport-Bot

Da haben wir nicht schlecht gestaunt, als wir auf unseren Systemen massive Zugriffe vom Seekport Bot gesehen haben.

Die älteren werden sich erinnern: Seekport war eine deutsche Suchmaschine, welche Mitte der 2000er Jahre als Alternative zu Google an den Start gegangen ist. Geschafft hat sie es jedoch leider nicht – 2009 wurde das Insolvenz­verfahren eröffnet. Ein Zombie Bot?

Aufgefallen war uns der Bot, weil er sich nicht an die Auszeichnung rel="noindex" im HTML gehalten hat und zudem massiv Downloads gestartet hat. Denn ein guter Bot hält sich daran und macht genau das nicht.

Eine kurze Recherche hat ergeben: Die Domain Seekport ist von Sistrix gekauft worden. Scheinbar betreibt Sistrix unter dem Namen Seekport eine neue Suchmaschine oder nutzt den „bekannten“ Bot für eigene Spider.

Im konkreten Fall hat der Bot  – weil er sich nicht an die Auszeichnung gehalten hat – bei uns so viele Downloads von Binärdateien verursacht, dass wir handeln mussten: Wir haben den Bot ausgesperrt. Neben einem Eintrag in der robots.txt, haben wir den Bot auch auf Serverlevel, direkt im Varnish, ausgesperrt.

Das ging ganz einfach durch folgenden Eintrag in der Varnish-Config:

sub vcl_recv {

......

  # block for secific user agent
  # e.g. seekport, which does not follow 
  # the rel="noindex" tag

  if (req.http.User-Agent ~ "Seekport") {
      return(synth(403,"Forbidden."));
  }

.....
}

Diesen Eintrag haben wir anschließend in unserer Puppet-Konfiguration eingetragen, einen Tag erstellt und schon konnte die Anpassung für den betroffenen Dienst ausgerollt werden. Verifizieren, dass der Bot nun tatsächlich ausgesperrt ist, kann man das per cURL:

curl -I --user-agent "Mozilla/5.0 (compatible; Seekport Crawler; seekport.com/)" \
www.domain.name

Das Ergebnis ist dann:

HTTP/1.1 403 Forbidden.

date: Wed, 14 Jul 2021 06:58:02 GMT

server: Varnish

x-varnish: 1421139

content-type: text/html; charset=utf-8

content-length: 782

Im Moment prüfen wir noch, ob wir den Bot in all unseren Diensten aussperren sollen. Sofern wir weitere Informationen über den Bot finden und er sich an die Auszeichnung im HTML hält, werden wir erneut prüfen.

Vielleicht können die Kollegen von Sistrix als Kommentar ein paar weitere Informationen geben?

Ingo Schmitt

Spricht TypoScript, php und sql. Perl und bash verhandlungssicher; besitzt java-Grundkenntnisse. Seit 1996 dabei und mittlerweile als geschäftsführender Gesellschafter zuständig für Entwicklung und Betrieb und bloggt hier über alles, was technisch interessant und nachhaltig ist.

Weitere Beiträge dieses Autors

Blog als RSS-Feed abonnieren

Verwandte Beiträge

    Wir freuen uns, wenn Ihr diesen Beitrag teilt.


    Kommentare

    Keine Kommentare gefunden.

    Kommentar verfassen.

    Ich bin darauf hingewiesen worden, dass die Verarbeitung meiner Daten auf freiwilliger Basis erfolgt und dass ich mein Einverständnis ohne für mich nachteilige Folgen verweigern bzw. jederzeit gegenüber der Marketing Factory Digital GmbH per Post (Marienstraße 14, D-40212 Düsseldorf) oder E-Mail (info@marketing-factory.de) widerrufen kann.

    Mir ist bekannt, dass die oben angegebenen Daten so lange gespeichert werden, wie ich die Kontaktaufnahme durch Marketing Factory wünsche. Nach meinem Widerruf werden meine Daten gelöscht. Eine weitergehende Speicherung kann im Einzelfall erfolgen, wenn dies gesetzlich vorgeschrieben ist.

    • Datenschutzerklärung
    • Impressum

    © Marketing Factory Digital GmbH

    Bildnachweise
    1. "Graylog-Histogramm": © Ingo Schmitt / Marketing Factory Digital GmbH
    2. "Friedhof, Dämmerung": Scott Rodgerson / Lizenz: Unsplash License