Wie ist das mit zB DuckDuckGo? Am Beispiel der Bundeskanzlerin sieht man ja, dass es keinen User-Agent für DuckDuckGo gibt. Trotzdem finde ich mit DuckDuckGo aber die Seite.
Kann mir das einer erklären?
You are viewing a single comment's thread from:
Wenn der Namen nicht spezifisch in Robots.txt aufgelistet wird, dann werden einfach die Befehle unter
User-agent: *ausgeführt, also wird der DuckDuckBot folgende Befehle befolgen:Disallow: */SiteGlobals Disallow: */DE/Service Disallow: */EN/Service Disallow: */DE/_Magazine Crawl-delay: 180Wichtig anzumerken ist jedoch, dass DuckDuckGo nicht nur seine eigenen Ergebnisse anzeigt, sondern auch sich bei anderen Suchmaschinen bedient. Unteranderem ist Bing eine davon. Bei Bing haben wir folgendes:
User-agent: Bingbot Allow: */SiteGlobalsDeshalb taucht die Seite auch bei DuckDuckGo auf. :)
Quelle: https://duck.co/help/results/sources