# InteliwertBot, der Crawler von Inteliwert

> Was InteliwertBot abruft, wie er robots.txt und Nutzungsvorbehalte für Text und Data Mining beachtet, wie schnell er crawlt und wie Sie ihn sperren.

Der Webcrawler von Inteliwert, der Suche nach deutschen und europäischen Ausschreibungen und Fördermitteln der Bandpey GmbH.

*Stand: 25. Oktober 2026*

## Wer er ist

InteliwertBot ist der Webcrawler von Inteliwert, betrieben von der Bandpey GmbH in München. Er liest die Websites von Unternehmen, die in öffentlichen Bekanntmachungen genannt sind, um öffentliche Belege darüber zu sammeln, was sie tun. Er gibt sich mit diesem User-Agent zu erkennen:

User-Agent:

```
InteliwertBot/1.0 (+https://inteliwert.com/bot)
```

## Was er abruft

InteliwertBot besucht die Website eines Unternehmens nur, wenn eine öffentliche Bekanntmachung diese Website nennt. Er liest das Impressum, um zu prüfen, dass die Website zu dem Unternehmen aus der Bekanntmachung gehört, und danach einige Seiten aus einer festen Liste:

- Impressum
- Über uns
- Leistungen und Produkte
- Zertifikate und Qualität
- Referenzen und Projekte

Er bleibt auf der eigenen Domain der Website und ruft höchstens 8 Seiten je Website ab. Kontakt-, Karriere-, Team- und Personenseiten ruft er nie ab; er meldet sich nie an, füllt nie ein Formular aus und führt keine Skripte aus.

## Was er liest

- Aus dem Impressum: den Namen des Unternehmens laut Handelsregister, den Registereintrag und die Umsatzsteuer-Identifikationsnummer.
- Die Zertifizierungen und Präqualifikationen, die die Website nennt, etwa ISO 9001 oder PQ-VOB, jeweils mit einem kurzen Zitat.
- Den Link zur LinkedIn-Seite des Unternehmens.
- Die Webadresse des Logos.

Kontaktdaten und Angaben über Personen liest er nicht. Die abgerufenen Seiten bleiben privat. Inteliwert verwendet daraus höchstens kurze Zitate, jeweils mit Link zur Seite und dem Datum der Prüfung, und zeigt eine Zertifizierung als Selbstauskunft auf der Website des Unternehmens.

## robots.txt und Vorbehalte

Bevor er eine Seite abruft, liest InteliwertBot die robots.txt der Website und folgt der Gruppe für InteliwertBot, sonst der Gruppe für alle Crawler. Ist die robots.txt nicht lesbar, ruft er keine Seite ab und versucht es später erneut.

Er beachtet maschinenlesbare Nutzungsvorbehalte für Text und Data Mining nach § 44b Urheberrechtsgesetz (UrhG): den HTTP-Header und das Meta-Tag `tdm-reservation`, die Datei `/.well-known/tdmrep.json` und `noai` im Header `X-Robots-Tag` oder im Robots-Meta-Tag. Eine vorbehaltene Seite wird weder gespeichert noch gelesen.

## Wie oft und wie schnell

- Eine Anfrage alle 2 Sekunden je Domain.
- Höchstens 8 Seiten je Website, 2 MB je Seite und 10 Sekunden je Anfrage.
- Eine Website wird etwa einmal im Monat erneut geprüft.

## So sperren Sie ihn

Um InteliwertBot von Ihrer ganzen Website fernzuhalten, ergänzen Sie Ihre robots.txt so:

robots.txt:

```
User-agent: InteliwertBot
Disallow: /
```

Für einen Teil Ihrer Website sperren Sie stattdessen diesen Pfad. Auch ein Nutzungsvorbehalt für Text und Data Mining wie oben hält Ihre Seiten vom Lesen ab.

## Fragen und Widerspruch

Für Fragen, Korrekturen oder die Löschung der Daten Ihres Unternehmens schreiben Sie an [hello@inteliwert.com](mailto:hello@inteliwert.com).

---

Page: https://inteliwert.com/de/bot

Inteliwert is a product of Bandpey GmbH, an international data and AI software company in Munich, Germany, founded and led by Roozbeh Bandpey. Bandpey's products: Facthory, Emolysis, Copolly and Inteliwert.

Inteliwert on LinkedIn: https://www.linkedin.com/company/intelliwert, GitHub: https://github.com/inteliwertai.