Wir verwenden Cookies, um unsere Website optimal für Sie zu gestalten. Mit dem Bestätigen des Buttons "Akzeptieren" stimmen Sie der Verwendung von Cookies zu. Durch Anklicken der untenstehenden Checkboxen können Sie auswählen, welche Cookie-Kategorien Sie zulassen möchten. Durch Klicken auf die Schaltfläche "Mehr anzeigen" erhalten Sie eine Beschreibung jeder Kategorie. Weitere Informationen finden Sie in unserer Datenschutzerklärung.
Notwendige Cookies helfen, eine Website nutzbar zu machen, indem sie grundlegende Funktionen wie die Seitennavigation und den Zugang zu sicheren Bereichen der Website ermöglichen. Ohne diese Cookies kann die Website nicht ordnungsgemäß funktionieren.
Präferenz-Cookies ermöglichen es einer Website, sich Informationen zu merken, die das Verhalten oder Aussehen der Website verändern, wie z.B. Ihre bevorzugte Sprache oder die Region, in der Sie sich befinden.
Risiken des KI-Einsatzes beim Wissenschaftlichen Arbeiten
So, dann wollen wir uns mit den Risiken der KI beim wissenschaftlichen Schreiben beschäftigen. Wie Sie sehen, habe ich hier einfach nochmal so eine Unterscheidung getroffen. Was sind so die Merkmale der KI, die risikoreich sind? Und was sind dann die konkreten problematischen Auswirkungen? Und eins davon, diese Eigenschaft, dass der KI quasi ein stochastischer Papagei ist, das habe ich extra fett unterstrichen, weil es für mich einfach etwas ist, was im Hintergrund gerne mal verloren geht, aber ganz wichtig ist. Weil die KI kann nicht entscheiden, sie weiß nicht, was sie sagt. Sie ist eloquent, sie tut so, als wüsste sie alles, aber es sind letztlich nur stachistische Wahrscheinlichkeiten, die sie ausgibt. Und die resultieren natürlich daraus, dass sie Muster in den großen Daten merken, Aber das kann eben auch dazu führen, dass Wichtiges unerkannt bleibt, weil es eben keinem Muster entspricht, weil es nicht so wirklich gut belegt ist, weil es vielleicht zu wenig Daten im Trainingsmaterial gab und viele weitere Faktoren, die da eine Rolle spielen. Das heißt, wir haben, wenn wir mit KI-Ergebnissen uns auseinandersetzen, wir haben es immer mit statistischen Wahrscheinlichkeiten zu tun. Das sind eben keine überprüfbaren Fakten. Die KI war ursprünglich dazu trainiert, einfach ein flüssiges Gespräch zu führen. Das geht zulasten der inhaltlichen Genauigkeit im Detail. Sie präsentiert uns auch sehr souverän Aussagen, die auch falsch sein können. Das verleitet einfach sehr schnell zu Fehlannahmen. Gehen wir bei den Risiken ein bisschen mehr ins Detail. One of the most important risks is certainly that the AI hallucinates, also really false words, and brings things together, and why is that so? There are a big role in the trainings data. If the information was to a topic was not enough or a side, then it also spiegels in the answers of the AI. There are also special situations, that the trainings material was just simply used to be used to a certain stage. Or maybe the AI had to do with the data, or it could have just not enough to do that, to then really have the probability of the probability to the results in the background. There are also some of the possibilities to be able to find. Oder ist es eben die anscheinend doch falsche Aussage, die dann dabei rauskommt? So kann es zum Beispiel auch passieren, dass wenn die KI da in so einem unsicheren Feld unterwegs ist, sie durch statistische Berechnung versucht, eben Lücken zu schließen. Und auch da wieder das, was wir auf der vorherigen Folie hatten, der Hintergrund ist immer die Programmierung sagt, gibt eine plausible Antwort und eine Faktenprüfung ist nicht vorgesehen, findet nicht statt. So haben wir eben Texte, die zunächst glaubwürdig wirken, aber auch eben durchaus erfundene Inhalte beinhalten können. Dann haben wir oft auch die Beobachtung gemacht, dass Halluzinationen oder spezielle Formen der Halluzinationen vorkommen, wenn es um das Angeben von Literatur geht. That is also a addition to what we said earlier. Because the AI has a statistical probability of a plausible answer to give, it is very difficult to give it a literature from Stimplem. Because why is it probably a article in 2 and not in 3 stands? Why is it probably a case of 1.511 and not in 1.519? That is just from the idea of a tricky. So it can just come in literature quickly, that the Fragments are wrong. The AI works with very small-schritted tokens, and there can happen quickly that they are not correctly correctly. As a reaction to it, you have developed certain systems, such as Retrieval Augmented Generation Systemes or RRG-Systems. And these RRG-Systems work with a mix of generative AI and the classic Bullshit-Suche, how we use it in many, many decades in the data-based research. How does that work in the einzelnen and what are the examples of these RRG-Systems? For example, Consensus-App is a free-for-for-tool tool that you can use with the Google Account. Also Undermind oder Notebook AI sind Vertreter dieser Art. Auch Perplexity AI ist im Kern ein RAG-System. Und das Ganze gibt es auch auf Basis professioneller wissenschaftlicher Recherche-Tools. Also zum Beispiel bei Scopus AI haben wir es auch mit einem RAG-System. Wie funktionieren die jetzt im Einzelnen? Wenn man dort wie bei einem normalen KI-Chatbot eine Prompt eingibt, generiert das System erstmal eine Übersetzung in eine Bool'sche Suche. Und um eine sinnvolle Bool'sche Suche absetzen zu können, muss ich zu einem Thema auch mit unterschiedlichen Synonymen suchen, sodass ich jede mögliche Variante abdecken kann, die ein Autor anbietet. genutzt haben könnte, wenn er über das Thema schreibt. Und hier ist es jetzt so, dass natürlich da die generative KI auch einen wunderbaren Vorteil bietet, weil sie einfach sehr gut darin ist, Synonyme in ihren Trainingsdaten ausfindig zu machen. Sie kann das dann auch sehr gut in diese Bulls' Suchstruktur umformatieren. Dann findet einfach erstmal diese Datenbanksuche statt. Dann ist es aber häufig so, dass diese Datenbanksuche ein hohes Ergebnis mit vielen hundert oder tausend Treffern erzielt. Je nach System wird diese Trefferliste früher oder später gekappt. Die Kriterien für diese Kappung sind auch unterschiedlich, in der Regel nicht transparent. Das ist sicherlich ein wichtiger Hinweis, auch wenn ich jetzt überlege, was ist der nächste Schwerpunkt. The generative KI is the classic answer text, as we know from other Large Language Models. We know that there are many more texts that are on the basis of what ever for a system of this system. I have in this text just a single one of the actual science of this. Then I have said that this answer text. The data is in the general way better than the normal Large Language Tool. I have just as a basis for the data. I have solid data that I have. The way that the system can use and the way that is closed, like for Scopus AI, but also for Consensus App, the quality is very quickly, than with a system that works with heterogeneous data, like Perplexity, also an Auswirkung. But also in a very good, closed system can it to Halluzinationen come. Just because of the course of the Synonym-Generierung as well as the form of the answer text, the AI still plays a role and is involved in it. But it is on the level of it is much better, what the Halluzination is, than a normal Large Language Model like ChatGBT or Copilot or Mistral. Warum versteht uns generative KI vielleicht auch mal gar nicht? Menschen haben einfach mitunter die Tendenz, sich uneindeutig auszudrücken. Und diese Ambiguität, die führt natürlich auch einmal dazu, dass dann die KI nicht wirklich gut versteht, was wir eigentlich meinen. Besonders tricky sind für die KI bestimmte Situationen, wie zum Beispiel, wenn wir in unserem Prompt ein Homonym eingegeben haben, also ein Wort, das mehrere Bedeutungen haben kann und wo ich die Bedeutung erst durch den Kontext erschließe. Dann ist es umso wichtiger, dass ich ausreichend Kontext mit angebe, um eine notwendige Eindeutigkeit zu erzeugen. Und es kann auch gut passieren, dass ich vielleicht zu den Kerngedanken in meinem Programm prompt benannt habe, aber vergessen habe, irgendwelche sehr wichtigen Details hinzuzusetzen. Also am Ende des Tages liegt dieses Problem hauptsächlich auf Seiten des Menschen, der in der Bedienung nicht genau genug agiert. Ja, das drückt sich auch häufig dadurch aus, dass wir zum Beispiel beschreiben, was wir eigentlich jetzt möchten, aber wir schreiben nicht, wie wir es wollen. Also wir geben nichts hinzu, welche Qualität denn die Antwort bieten soll. Also zum Beispiel schreiben eine Funktion, aber sagen nicht, welche Leistung soll denn auch dann mit dieser Funktion erreicht werden? Mit welcher Sicherheit oder Sicherheitsfeatures stellen wir uns das vor? Und wie benutzerfreundlich soll das Ganze sein? It's always for many systems to say, I want to say in a iterative process, also in a long-term process, my prompts will be able to increase my context. I ask the AI maybe from my side of the way, which information is missing here. There are always AI systems that do that and ask us to ask, if we have it so or so meant. But that is always limited. The AI can't really everything antizipize, what we maybe meant meant. That is our own. Trainingsdaten? are for us as users often transparent. For example, it is the question for us in the scientific context, if and if yes, to what extent, the literature in training of large language models is the main reason for the literature. The reason why the literature is the open access document, is the open access document. The literature in large language models are not always in a license, which would be used in a use of training data and the use of large language models. There are different meanings. Es ist besonders tricky, weil natürlich die meisten Autoren ihre Texte auch in der Zeit veröffentlicht haben, wo man noch gar nicht wusste, dass es Technologie geben würde. Das macht es nicht einfacher. Und dann haben wir natürlich vor allem noch den anderen Teil der wissenschaftlichen Literatur, der in subskriptionsbasierten Journalen zum Beispiel veröffentlicht worden ist. Da haben wir natürlich einen ganz klaren Rechteinhaber, der sagt, dass ihr den Text nur gegen Erwerbung einer Lizenzgebühr freigibt. Und da haben wir natürlich eine sehr umfangreiche Copyright-Problematik aus diesem Problem heraus erwachsen. So können wir nicht sicher sagen, ist diese wissenschaftliche Literatur wirklich ursprünglich mal in das Training mit eingegangen? Und wenn ja, wo sollte sie hergekommen sein? Also sie wird nicht von den Verlagen freigegeben. It is now the first trade with the different companies, such as with Riley, which now against the large language model-in-law-bieters their subscription-based texts are available. But that is not a branch standard. There are other companies that have not so handwritten. But it can be said that the texts are in the trainings in the trainings were. There are already been illegal used for many years, where the texts are not all and all in the full-time, but a part of the entire entire edition. But that problem is already there. so der aktuelle Stand. Was viel transparenter ist, ist mitunter das Problem, wenn jetzt ein Tool sagt, wir haben die Trainingsdaten bis zu einem bestimmten Stichtag verwendet, dann weiß man, okay, neuere Veröffentlichungen werden fehlen. Und was auch nicht so fernliegend ist, ist die Überlegung, dass es Themen gibt, die kaum erforscht worden sind, wo es schlicht und ergreifend in der Welt wenig Publikationen dazu gibt. Da wird natürlich dann diese Problematik mit den Halluzinationen wieder schwieriger, weil wenn die gesamte Datenbasis für die Berechnung sehr schmal ist, wie will ich dann wirklich berechnen, was ich da auf eine spezielle Frage als Antwort liefere? Da kann es also schlechter in solchen Bereichen zu Spekulationen Geh mal weg von den Trainingsdaten, zumindest in dem Sinne, wo sind sie hergeneriert worden, von welchen Verlagen beispielsweise stammen wissenschaftliche Texte, hin zu der Frage, was passiert mit den Prompts, die ich in ein Chatbot eingebe und was passiert auch mit den Antworten, die ich dann von diesem Chatbot erhalte, mit denen ich ja vielleicht auch durch einen weiteren Prompt wieder interagiere. Wo und wie werden die gespeichert? Hier haben wir einmal die Situation, dass es teilweise dazu kommt, dass alles, was wir eingeben, prompt und die dazugehörigen Antworten für weitere Trainings gespeichert und verwendet werden. Und wie lange sie gespeichert werden, It is with un-transparent, it is then into the AGBs and then into Formulierungen, which we cannot completely look at it, because it is not only about the Speichern as such as in the house of the Inbieters but also it is also with a more further answer of these data and a third or is this problem with another other story, namely the US Cloud Act. The US Cloud Act is to a data-exfiltration. It is the right of the American Geheimdiense on the electronic communication from companies outside the USA to to to not all but only in und außerhalb der USA. Das heißt, sobald wir einen Dienst verwenden, der eben von einer amerikanischen Firma betrieben wird, haben wir prinzipiell diese Problematik des US-Cloud-Acts. Es gibt Möglichkeiten für die amerikanischen Firmen, diesen US-Cloud-Acts zu umgehen. Europäische Tochterunternehmen, der Server muss dann in Europa stehen und so weiter. Es gibt auch viele Punkte, wo Firmen versuchen, Angebote für den europäischen Markt oder für nichtamerikanische Märkte zu kreieren, die eben genau dann auch auf solche Konstruktionen abstellen. Aber grundsätzlich ist auch das wieder ein Punkt, den wir im Auge behalten müssen, wenn wir mit den Tools arbeiten. Denn sehr schnell arbeiten wir mit Sensationalen, And there are one thing that is the issue of the data protection. The data protection is always relevant when we have person-based data in a large language model or in a AI. We have to know where the data is speared, how long they are speared, who has to be able to use, how to use these data. We have to know how to use data in a large language. Und das betrifft nicht aus, schließlich die Nennung der Personennamen, sondern es kann auch dann eine Rolle spielen, wenn Sie den Namen zwar nicht explizit nennen, aber es aus den restlichen Daten, die Sie erhoben haben, möglich ist, auf einzelne Personen rückzuschließen. Und ja, was sind so typische Szenarien, die jetzt da im Hochschulkontext eine Rolle spielen? Sehr problematisch sind dann zum Beispiel die Ausführung von qualitativen Interviews, wo es vielleicht eine Handvoll Experten überhaupt zu einem Thema gibt. Sie haben zwar den Namen dann bei der Auswertung weggelassen, aber aufgrund der Antworten und des ganzen Kontextes ist dann vielleicht der Rückschluss schon auf den einzelnen Interviewten möglich. Ein zweites Beispiel, einfach die Inhaltsanalyse von Beschwerde-E-Mails, auch da, That's a sense of sense of data, logically. And there must be a special attention to it. If we see these topics, where we need to be careful with the tools? There is to say that AI-Tools obviously many data through our daily use. For example, how long our session lasts, which functions we have used, how we have the Feedback-Function used, what is from our browser or our computer to use data? I have a tool that can be used by a Google Account or a other account. And this kind of use is often used to use, that also auch Konteninformationen gepoolt werden, dass es zu einer Profilbildung kommt und sich dann der Betreiber des Kontos, nennen wir ihn jetzt mal Google, ein sehr detailliertes Bild von ihren Aktivitäten und vielleicht auch von ihren Einstellungen machen kann. Gerade durch die Kommunikation mit AI kann man ja doch recht viel auch von sich und seinen Projekten preisgeben. Worauf sollte ich bei der Lizenzierung eines LLMs achten? Auf jeden Fall auf das Thema der Eigentums- und Nutzungsrechte. An wen übertrage ich die? Ist das für jeden von gleich starker Bedeutung? Wenn ich nichts veröffentliche, ist das jetzt erstmal vielleicht nicht ganz so dramatisch. Ich sollte aber auch nicht unbedingt in einem Patentierungsverfahren sein. Und das bedeutet im Umkehrschluss, sobald Sie eine gewerbliche Relevanz Ihrer Erfindung zum Beispiel haben, Sie haben einfach die Zusammenarbeit mit einem gewerblich tätigen Unternehmen, wo Patentierungsverfahren eine Rolle spielen, vielleicht Ihre Inhalte irgendwo mit einbezogen werden. Da wird es dann schwierig mit der Nutzung von Large Language Models und auch bei Veröffentlichungen, wenn es darum geht, dass ich eben als Wissenschaftler der Erste bin, der zu einem Thema etwas publiziert. Da muss ich ebenfalls wieder darauf achten, dass ich die KI nur so nutze, dass ich dafür Datenverlust und ungeplanter Datenübertragung sicher bin. Was vielleicht kritische Passagen in Geschäftsbedingungen sind, dann sollten wir vor allem konkret auf Formulierungen achten wie dauerhafte Übertragung der Daten, weltweite Rechteabtretung oder die Erlaubnis zur Weitervergabe von Sublizenzen, sprich zur Weitergabe an Dritte. So eine Faustregel, die man aber wirklich im Einzelfall genau prüfen muss, ist die Sache, dass man mit Profilizenzen oder Businessversionen, für die man eine Lizenzgebühr entrichtet, dass man da in der Regel gute Konditionen hat, vorteilhafte Konditionen hat mit einer hohen Datensicherheit und umgekehrt, wenn ich über den Google Account ein Tool nutze, dann wirkt es auch erst so, dass ich vielleicht recht viel tun kann, aber ich bezahle. then actually with my data. What is the alternative, if a paid software for me not in the question or I actually find not any, the my requirements then there is always the possibility, a large language model on the own computer to let it go. I have this here on my device also eingerichtet, I use it but in the everyday almost never, because it is very slow in my case. I have not been too far with it, but grundsätzlich is that a possibility.
