Wie behandelt CCM19 Bot-Traffic?

Das Tarifmodell von CCM19 basiert neben der Domain-Anzahl auch auf Seitenaufrufen. Daher werden wir häufig gefragt, ob und wie Bot-Zugriffe auf die Webseiten als Seitenaufrufe in CCM19 gewertet werden.

Grundsätzlich gilt, dass Seitenaufrufe, die eindeutig Bots zuzuordnen sind, nicht als Aufrufe gezählt werden. Um das zu erreichen, haben wir folgende Maßnahmen getroffen:

1. Bei jedem Aufruf prüfen wir den User-Agent und wenn sich dieser als Suchmaschine (Google, Bing, Yandex etc.) zu erkennen gibt, wird der Aufruf nicht gezählt.
2. Wir teilen Suchmaschinen außerdem über die robots.txt mit, dass unser Tool nicht gecrawlt werden soll. Suchmaschinen, die sich daran halten, werden also ebenfalls nicht gezählt.
3. Wir führen auch eine stetig wachsende Filterliste mit IP-Adressen von Bots, die wir über die Jahre identifiziert haben. Hier sind vor allem Crawler von SEO-Tools und Hostern zu finden. Aufrufe von Bots, die auf dieser Filterliste stehen, werden ebenfalls nicht gezählt.

Dadurch können wir schon einen Großteil des Bot-Traffics erkennen und ausfiltern, so dass Bot-Zugriffe bei den meisten Kunden nicht ins Gewicht fallen.

So identifizieren Sie Bot-Traffic in Ihrem Account

In seltenen Fällen kann es aber natürlich dennoch passieren, dass in Ihrem CCM19-Account auch Bot-Traffic gezählt wird. Er ist in der Regel in der Statistik leicht durch eine extrem hohe Anzahl von Aufrufen zu erkennen, bei denen keine Interaktion mit dem Banner verzeichnet wird. Beispiel:

Bisweilen können auch regelmäßige Spikes in der Statistik auftreten. Diese sprechen eindeutig für einen Crawler, der in einem festen Intervall die gesamte Seite scannt und so künstlichen Traffic verursacht:

Diese Bots fallen dann aktuell durch unser Raster, weil sie sich nicht als Bot zu erkennen geben, die robots.txt ignorieren oder Proxy-Server verwenden und so keine feste IP-Adresse haben.

Was Sie gegen Bot-Traffic tun können

Wenn Sie erhöhte Zugriffe von Bots bemerken, die Ihr Aufruf-Kontingent in CCM19 spürbar belasten, können Sie die Logfiles auf Ihrem Server analysieren und versuchen, die problematischen Bots zu identifizieren. Mit der Information können Sie zwei Dinge tun:

1. Unterbinden Sie über die Server-Konfiguration, dass der Bot weiterhin auf Ihre Webseite zugreifen kann.
2. Falls Sie den Bot-Zugriff nicht grundsätzlich abstellen möchten, weil Sie Ihre Webseite beispielsweise durch ein SEO-Tool regelmäßig crawlen lassen möchten, teilen Sie uns den User-Agent oder die IP des Bots mit. Wir werden dann überprüfen, ob wir diesen Bot unserer Filterliste hinzufügen können.