Im Vergleich: ChatPDF

PDFs hochzuladen, um sie von einer KI zusammenfassen zu lassen, gehört längst zu den Standards von KI-Textanwendungen. Google NotebookLM verwandelt ein PDF sogar in einen Podcast, in dem zwei KI-Host dessen Inhalt besprechen.

Doch wie man früher sagte, es gibt für alles eine App, lässt sich heute sagen, es gibt für alles eine spezialisierte KI. Und für die Analyse von PDFs ist das ChatPDF.

Es gibt für alles eine KI

ChatPDF sieht sich als ein Angebot, das sich speziell an jene richtet, wie wissenschaftlich arbeiten. Prominent verlinkt man deshalb auch einen hübschen kleinen Logofriedhof mit dem How-is-how der US-amerikanischen Top-Universitäten.

Für die Arbeit mit zwei PDFs am Tag ist das Angebot kostenlos und ohne Anmeldung möglich. Wer sich anmeldet, bekommt zusätzlich die Möglichkeit eigene Ordner für seine hochgeladenen PDFs und den zugehörigen Chat einzurichten. Gerade wer ChatPDF für umfangreichere Projekte nutzt, sicher ein gutes Feature.

Wer mehr als zwei PDFs analysieren will, muss sich mit den kostenpflichtigen Angeboten auseinandersetzen. Der Dienst bietet einen ChatPDF Plus-Plan an, hält sich auf der Webseite allerdings eher bedeckt dazu. Dabei klingen 5 US-Dollar/Monat angesichts der Konkurrenz doch gar nicht mal so schlecht.

So funktioniert das Angebot

Zuerst muss der User sein PDF hochladen. Der Dienst liest den Inhalt relativ zügig ein, zumindest aber auf dem gleichen zeitlichen Niveau wie ChatGPT oder Gemini. Im Chat kann der User dann anschließend gezielte Fragen stellen, die ChatPDF nur auf Basis der Informationen im PDF löst. Zwar sind die Antworten – wie bei jeder KI – mit Vorsicht zu genießen, aber das Fantasieren wie es bei Gemini oder ChatGPT noch immer oft vorkommen kann, hält sich aufgrund der eingeschränkten Quelle in Grenzen. Wenn es eine Frage nicht auf Basis des PDFs beantworten kann, greift die KI auf keine anderen Quellen zu und gibt die Meldung aus, die Frage auf Grundlage des PDFs nicht beantworten zu können.

Dennoch gilt: Auch die KI von ChatPDF weiß nicht was sie tut, sie kann den Inhalt des PDFs zwar analysieren, aber versteht nicht worum es eigentlich geht.

Zum Einstieg bietet ChatPDF schon einmal ein paar Fragen an, um die Kernaussagen des hochgeladenen PDFs auf den Grund zu gehen. Danach genügt es bereits einfache, native Fragen zu stellen. Diese müssen weder besonders fachspezifisch sein, noch muss man ChatPDF, wie es bei anderen Diensten durchaus Sinn macht, eine bestimmte Rolle wie bspw. Student oder Tutor zuweisen.

Der Test

Als Test habe ich den 3. Quartalsbericht von DeLonghi hochgeladen. Er ist nur in Englisch verfügbar, der Test selber lief aber in Deutsch. Damit hatte die KI keinerlei Probleme, was schon einmal ein erster Pluspunkt ist. Generell gibt ChatPDF übrigens an in alle Sprachen arbeiten zu können. Wer Erfahrungen mit ChatPDF hat, die nicht in Englisch, Deutsch, Spanisch, Franzöisch oder einer anderen gängigen Sprache hat, kann seinen Eindruck gerne in den Kommentaren hinterlassen.

Nach ein paar Testfragen, deren Antworten ich überprüfen konnte, war es soweit für einen Test. Statt einer bestimmten Aussage oder Zahl, ist die Testfrage recht allgemein gehalten. Das ist durchaus schwieriger für eine KI, als die konkrete Frage nach einer Kennzahl oder Aussage, da in gewisser Weise auch die Intention hinter der Frage erkannt werden muss. (Was heute im Detail zwar keine KI kann, aber sich doch viele daran versuchen.)

Wie sieht die Geschäftsführung die allgemeine Entwicklung für die Zukunft?

Das Ergebnis ist durchaus zufriedenstellend, oder? Um die einzelnen Aussagen zu überprüfen, bietet der Chat Sprungmarken ins PDF an. Das ist nicht nur für die Überprüfung sinnvoll, sondern auch für das wissenschaftliche Arbeiten mit Quellenangaben unerlässlich.

Und die Konkurrenz?

Auch Gemini und ChatGPT bieten den Upload von PDFs an. Doch mit derselben Ausgangsfrage ist das Ergebnis eher mau.

Gemini liefert bspw.:

Ganz nett, aber eher Marketingsprech und alles in allem nichtssagend. Und statt einer Sprungmarke zur direkten Quelle, wird nur noch einmal das hochgeladene PDF verlinkt. Macht auch nicht wirklich Sinn, oder?

Aber auch ChatGPT ist nicht viel besser:

Auch dieses Ergebnis ist eher oberflächliches Marketingsprech, das nicht ins Detail geht und keine direkten Sprungmarken zu den Quellen anbietet. Für eine exakte Quellenangabe taugen also beide Generalisten nichts.

Das könnte natürlich an der Spezialisierung liegen. Also habe ich beiden KIs eine zweite Chance gegeben und den Prompt erweitert, in dem ich ihnen eine Rolle zuschrieb und auch den erwünschten Output spezifiziert habe.

Wirklich geholfen hat das nicht, denn Gemini liefert mehr oder weniger exakt das gleiche Ergebnis. ChatGPT dagegen eine ausführliche Analyse aus Investorensicht. Allerdings konzentrierte sich die KI dabei nicht auf die Zukunftsaussichten, sondern analysierte das Unternehmen ausführlich, um eine Investmententscheidung vorzubereiten. Das ist zwar nett, aber eben keine Antwort auf die eigentliche Frage. Die eigentliche Analyse der Zukunftsaussichten gab nur das vorherige Ergebnis in gekürzter Form wider.

Das Ergebnis

Der Spezialist ChatPDF liefert also auch das beste Ergebnis, während die Generalisten bei ihren Antworten zwar nicht fantasieren, aber doch nur an der Oberfläche kratzen. Wer einen Geschäftsbericht – oder eine Studie usw. – also verstehen will, sollte sich lieber auf den Spezialisten verlassen.