Beschaffung Von KI-Systemen: Aktuelle Und Zukünftige Herausforderungen

Künstliche Intelligenz (KI) ist das aktuelle Trendthema. Nicht nur im privaten, auch im öffentlichen Sektor steigt das Interesse am Einsatz von KI-Systemen. Die Beweggründe sind offensichtlich: Erhofft werden die Steigerung von Effizienz und Geschwindigkeit von Entscheidungsprozessen, Kosteneinsparungen und insgesamt bessere Ergebnisse.

Die Regulierung von KI steckt jedoch noch in den Kinderschuhen. Ende 2023 haben sich EU-Parlament und Rat auf die Verabschiedung einer Verordnung zur Regulierung von KI-Systemen auf Grundlage des 2021 durch die Kommission unterbreiteten Vorschlags geeinigt (KI-Verordnung, engl. AI Act). Die förmliche Annahme durch das EU-Parlament erfolgte am 13. März 2024, die des Rates steht noch aus. Die KI-Verordnung tritt 20 Tage nach ihrer Veröffentlichung im EU-Amtsblatt in Kraft und ist - mit einigen Ausnahmen - 24 Monate nach ihrem Inkrafttreten uneingeschränkt anwendbar. Durch die KI-Verordnung soll ein vernünftiges Verhältnis zwischen Risiko und Innovation gesichert werden. Besonders berücksichtigt und geschützt werden die Bedürfnisse von Bürgern und Bürgerinnen, KMU und Start-Ups.

Vor dem Hintergrund der zu erwartenden KI-Verordnung sollen potenzielle Herausforderungen im Zusammenhang mit der Beschaffung von KI-Systemen identifiziert werden. Ausdrücklich nicht behandelt, werden Fragen im Kontext des direkten Einsatzes von KI in einem Vergabeverfahren, z. B. bei Ausschreibungen oder Angebotserstellung mit Hilfe von KI.

Die folgenden Überlegungen bilden eine Fortsetzung in einer Reihe von BLOMSTEIN-Briefings, die sich mit KI-bezogenen Interessenpunkten im öffentlichen Vergaberecht, Wettbewerbsrecht, Handel/Direktinvestitionen (FDI) und ESG befassen.

KI-Verordnung mit risikobasiertem Ansatz

Die KI-Verordnung soll einen risikobasierten Ansatz verfolgen, d.h. KI-Systeme werden verschiedenen Risikostufen zugeordnet. Der Gruppe mit minimalem Risiko dürften die große Mehrheit der derzeitigen KI-Systeme unterfallen. Ihr sollen durch die KI-Verordnung kaum regulatorische Pflichten auferlegt werden. Die nachfolgende Gruppe mit hohem Risiko soll beispielsweise Systeme zur Risikominderung und menschlichen Kontrolle einführen sowie Mindestvoraussetzungen hinsichtlich der Robustheit, Genauigkeit und Sicherheit ihrer Systeme gewährleisten. Zu solchen risikoreichen KI-Systemen zählen insbesondere kritische Infrastrukturen – z.B. Wasser, Gas und Strom, der Zugang zu Bildung und Finanzmitteln oder Bereiche der öffentlichen Verwaltung wie Grenzkontrollmanagement und Justiz. Sind mit KI-Systemen unannehmbare Risiken verbunden, insbesondere für die Grundrechte, sollen sie verboten werden (z.B. Systeme zur Erkennung von Emotionen am Arbeitsplatz). Außerdem werden spezifische Transparenzrisiken adressiert, insbesondere indem der Einsatz von KI offengelegt werden muss (z.B. Einsatz von Chatbots, Anwendungen zur Emotionserkennung, Kennzeichnung KI-generierter Inhalte).

Anpassung der Standardvertragsklauseln

Parallel zur Umsetzung der KI-Verordnung hat die Kommission einen aktualisierten Entwurf von Standardvertragsklauseln veröffentlicht. Diese sollen öffentlichen Auftraggebern das Beschaffen von KI-Systemen und insbesondere die Beachtung der regulatorischen Anforderungen nach der KI-Verordnung erleichtern. Wenig überraschend spiegelt sich der risikobasierte Ansatz zur KI-Regulierung hier wider. Es gibt ein Standardklauselwerk für Hochrisiko-KI-Systeme, welches die Anforderungen an KI-Systeme mit hohem Risiko nach der KI-Verordnung abbildet. Für die Beschaffung von KI-Systemen mit minimalem Risiko stellt das Standardklauselwerk für Nicht-Risiko-KI-Systeme eine Light-Version" zur Verfügung.

Der Einsatz von KI im öffentlichen Sektor

Eine Nutzung von KI durch staatliche Stellen kann zu erheblichen Effizienzgewinnen führen. Perspektivisch sind auf diese Weise schlankere und zugleich leistungsstärkere staatliche Strukturen erreichbar. Die damit verbundenen Potenziale können gerade in Zeiten unter Druck geratender Staatshaushalte und anstehender Pensionierungswellen kaum hoch genug eingeschätzt werden.

Zwar sind staatliche Kooperationen mit KI-Entwicklern und der Einsatz von KI im öffentlichen Sektor noch Neuland", dennoch gibt es in Deutschland bereits erste erfolgreiche Beispiele. So hat etwa das KI-Startup Aleph Alpha gemeinsam mit der Landesregierung Baden-Württemberg über eine als InnoLab_bw" bezeichnete Plattform den KI-basierten Text-Assistenten F13" entwickelt, der Mitarbeitenden der Landesverwaltung bei ihrer täglichen Textarbeit entlasten soll. Mit der Bayerischen Landesregierung hat Aleph Alpha kürzlich ebenfalls eine Rahmenvereinbarung abgeschlossen, die auf eine gemeinsame Entwicklung von KI-Systemen für die Verwaltung abzielt.

Allgemeine rechtliche Anforderungen an die öffentliche Beschaffung von KI-Systemen

Für die Beschaffung von KI-Systemen im öffentlichen Sektor muss grundsätzlich das Vergaberecht beachtet werden. Gerade mit dem Beschaffungsgegenstand KI gehen dabei eine Reihe von Herausforderungen einher.

Übertragung des komplexen rechtlichen Rahmens für KI in die Vergabeunterlagen

Öffentliche Auftraggeber sollten bei der Beschaffung von KI sämtliche aktuell und zukünftig für sie geltenden rechtlichen Verpflichtungen an potenzielle Bieter weitergeben. Ansonsten besteht die Gefahr, dass möglicherweise eine Leistung eingekauft wird, die in Zukunft nicht rechtskonform einsetzbar ist. In Bezug auf die Vorgaben der KI-Verordnung dürften die ausdrücklich gestellten Standardvertragsklauseln der Kommission zur Beschaffung von KI-Systemen Entlastung bringen. Auf diese können die öffentlichen Auftraggeber zurückgreifen, um die Anforderungen der KI-Verordnung zu erfüllen. Diese Standardvertragsklauseln decken jedoch nicht die Anforderungen anderer Rechtsgebiete wie der DSGVO ab und regeln die Leistungsbeziehung zwischen öffentlichen Auftraggebern und Auftragnehmern auch nicht umfassend. In Deutschland werden dafür weiterhin die Standardvertragswerke der verschiedenen EVB-IT Verträge eine wichtige Rolle spielen. Diese sind für viele öffentliche Auftraggeber zwingend anzuwenden und müssen im Einzelfall mit den Standardvertragsklauseln der Kommission sowie den besonderen Anforderungen von KI in Einklang gebracht werden.

Gefahr der Verfestigung von marktbeherrschenden Stellungen

Eine noch nicht gelöste Herausforderung bringt die Funktionsweise von KI mit sich: Vorreiterstellungen einzelner Unternehmen können durch die Erteilung von öffentlichen Aufträgen auf Dauer zementiert werden. Denn KI-Systeme lernen selbstständig an den ihnen zur Verfügung gestellten Daten und werden durch ein solches Training potentiell besser, genauer und effizienter– genau darin liegt das enorme Innovationspotential von KI-Systemen.

Problematisch ist, dass die KI des erfolgreichen Bieters während der Durchführung und gerade durch die Durchführung und Erbringung der Leistung trainiert und eben auch potentiell besser wird. Konkurrenzunternehmen, ohne Zugriff auf die Daten aus der Leistungserbringung und Durchführung des Auftrages können ihre KI-Systeme nicht entsprechend trainieren. In einem neuen Vergabeverfahren spricht viel dafür, dass die so trainierte KI gegenüber ihrer Konkurrenz im Vorteil ist.

Es besteht also die Gefahr, dass sich der Staat durch die Auftragsvergabe gleichsam selbst ein Unternehmen mit Vorreiter-Stellung heranzüchtet". Im Ergebnis würde ein mit dem sog. Vendor Lock-In" vergleichbarer Zustand geschaffen, der sonst im IT-Bereich Situationen beschreibt, bei denen sich der Wettbewerb aufgrund von Schnittstellen und einer sonst fehlenden Kompatibilität zu anderen Systemen auf nur einen Anbieter verengt. Zwar ist in derartigen Situationen weiterhin eine vergaberechtskonforme Zuschlagserteilung möglich – häufig sogar im Verhandlungsverfahren ohne Teilnahmewettbewerb nur mit dem jeweiligen Anbieter. Dem mit dem Vergaberecht intendierten Wettbewerbum das wirtschaftlichste Angebot läuft dies aber erheblich zuwider, was letztlich zu teureren und qualitativ schlechteren Leistungen führt.

Die Wahl der richtigen Verfahrensart

Bei der Beschaffung von KI-Systemen müssen sich Auftraggeber zunächst Gedanken über eine zielführende Verfahrensart machen (siehe zu dieser Frage auchSanchez-Graells How to Crack a Nut, 24. Februar 2024). Wie auch sonst bei der Beschaffung von technisch oder rechtlich komplexen IT-Leistungen, bietet sich prinzipiell auch bei der Beschaffung von KI die Durchführung eines Verhandlungsverfahrens mit Teilnahmewettbewerb an. Anders als in einem sogenannten offenen Verfahren, sind hier Verhandlungen mit Bietern über den Angebotsinhalt nicht nur nicht untersagt, sondern ausdrücklich erwünschter Verfahrensbestandteil. Auf diese Weise wird Bietern und Auftraggebern gleichermaßen die Möglichkeit eröffnet, die gegenseitigen technischen und rechtlichen Bedürfnisse aufeinander abzustimmen. Aufgrund unterschiedlicher Funktionsweisen einzelner KI-Systeme und Besonderheiten jeweils genutzter Datensätze, werden sich im KI-Bereich zum Teil auch technische Alleinstellungsmerkmale finden lassen, die im Einzelfall auch ein Verhandlungsverfahren ohne Teilnahmewettbewerb mit nur einem Anbieter ermöglichen können.

Überlegenswert für eine Beschaffung von KI im Wettbewerb erscheint außerdem das Vergabeverfahren der Innovationspartnerschaft, welches auf eine Entwicklung einer innovativen Liefer- oder Dienstleistung sowie auf deren anschließenden Erwerb abzielt. Voraussetzung für eine Innovationspartnerschaft ist, dass der zugrunde liegende Beschaffungsbedarf (noch) nicht durch auf dem Markt verfügbare Angebote gedeckt werden kann. Dies dürfte gerade bei KI-Systemen für den Einsatz in der öffentlichen Verwaltung, die mit entsprechenden Daten der Verwaltung trainiert werden müssen, häufig der Fall sein. Eine gemeinsame Entwicklung der zu beschaffenden Leistung kann daher für beide Seiten einen signifikanten Mehrwert bringen, gerade weil der Einsatz von KI im öffentlichen Sektor noch weitgehend unerforschtes Terrain ist.

Perspektivisch kann die Beschaffung von KI-Systemen deshalb dazu führen, dass das bislang in der Praxis weiterhin eher selten durchgeführte Verfahren der Innovationspartnerschaft an Relevanz gewinnt. Die in einem wettbewerblichen Verfahren vergebene Innovationspartnerschaft besteht dann aus einem zweistufigen System mit zunächst beginnender Forschungs- und Entwicklungsphase, auf die in einem zweiten Schritt die Leistungsphase folgt.

Herausforderungen bei der Erstellung der Vergabeunterlagen

Insbesondere die Festlegung des Leistungsgegenstandes dürfte mit erheblichen Herausforderungen einhergehen. Zunächst stellt sich dabei die Frage, ob das gewünschte KI-System eindeutig und erschöpfend beschrieben werden kann. Zusätzliche Flexibilität ermöglicht hier die Verwendung einer funktionalen Leistungsbeschreibung". Statt eines Katalogs bestimmter Merkmale oder Leistungen wird Bietern hier die zu bewältigende Aufgabe vorgegeben. Auf diese Weise sollen die Bieter ermutigt werden, sich an der Suche nach den besten Lösungen in technischer, wirtschaftlicher und kreativer Hinsicht zu beteiligen. Zur Ermittlung des wirtschaftlichsten Angebotes unter den Lösungsansätzen könnten dabei unter anderem Teststellungen verwendet werden, um die unterschiedlichen KI-Systeme miteinander zu vergleichen.

Darüber hinaus spielen in der Regel die beim Einsatz von KI-Systemen generierten Daten und ihre zukünftige Verwendbarkeit schon bei der Festlegung des Leistungsgegenstandes eine entscheidende Rolle. Gerade aus etwaigen IP-Rechten an verwendeten oder im Rahmen der Leistungserbringung generierten Datensätzen können dabei mögliche Einschränkungen für spätere wettbewerbliche Vergabeverfahren resultieren. Über eine intelligent ausgestaltete Leistungsbeschreibung lassen sich hier etwaige zukünftige Abhängigkeiten antizipieren und im Idealfall auch vermeiden.

Begrenzung der Bieter/Bewerber auf fachkundige und leistungsfähige Unternehmen bei denen keine Ausschlussgründe vorliegen

Bei der Nutzung von KI-Systemen, die mit staatlichen Daten in Kontakt kommen, haben öffentliche Auftraggeber außerdem ein erhebliches Interesse daran, nur mit fachkundigen und leistungsfähigen Unternehmen zusammenzuarbeiten. Um dies über Eignungsanforderungen sicherzustellen, kommen neben etwaigen Referenzanforderungen insbesondere auch Zertifizierungen durch anerkannte Stellen wie das Bundesamt für Sicherheit in der Informationstechnik in Betracht. Für KI bestehen allerdings aktuell noch vergleichsweise wenige etablierte Standards, sodass gerade für den Bereich der öffentlichen Beschaffung abzuwarten bleibt, welche allgemein anerkannten Zertifizierungen und Standards sich herausbilden werden.

Schließlich könnten auch Fragen des geistigen Eigentums an Relevanz gewinnen. Denn aktuell um Urheberrechtsverletzungen im KI-Bereich geführte Diskussionen könnten über den fakultativen Ausschlussgrund einer schweren beruflichen Verfehlung" zum Gegenstand der vergaberechtlichen Ausschlussprüfung werden.

BLOMSTEIN wird die aktuellen Entwicklungen im Vergaberecht im Zusammenhang mit KI aufmerksam verfolgen und Sie auf dem Laufenden halten. Wenn Sie Fragen zum vergaberechtlichen Rahmen einer Beschaffung von KI haben, wenden Sie sich bitte an Dr. Pascal Friton, Jasmin Mayerl, Ines Horn und Moritz Schuchert.