Rechtssichere KI-Nutzung

Die KI ist längst im Einsatz: im Verwaltungssystem für den Arztbrief, in der radiologischen Befundung, im Chatbot am Empfang oder als KI-Telefonagent. Was die wenigsten Anwender:innen wissen: Wer ein solches System im klinischen Alltag einsetzt, wird gemäß der EU-KI-Verordnung (AI Act) rechtlich zur Betreiberin oder zum Betreiber und trägt damit die weitreichenden Pflichten selbst. 

Der EU AI Act 

Die KI-Verordnung (englisch: AI Act) ist das weltweit erste umfassende Gesetz zur Regulierung von Künstlicher Intelligenz. Als EU-Verordnung gilt sie unmittelbar in allen Mitgliedstaaten, ein nationales Umsetzungsgesetz ist nicht erforderlich. Dennoch hat der Bundestag am 11. Juni 2026 das sogenannte Durchführungsgesetz zur KI-Verordnung beschlossen. Damit ist die KI-Verordnung in Deutschland anwendbar und durchsetzbar

Die KI-Verordnung folgt einem risikobasierten Ansatz und unterscheidet vier Kategorien:

• verbotene Praktiken,
• KI mit geringem Risiko,
• Hochrisiko-Systeme und
• Anwendungen mit bloßen Transparenzpflichten.

Für die Medizin ist vor allem die Hochrisiko-Kategorie relevant, in die viele Systeme automatisch fallen, sobald sie diagnostische oder therapeutische Entscheidungen unterstützen. Einige Regelungen sind bereits in Kraft: So sind KI-Anwendungen mit inakzeptablem Risiko, wie etwa das Social Scoring, die Bewertung von Menschen nach ihrem sozialen Verhalten, seit Februar 2025 verboten. Seit dem 2. August 2025
gelten die Vorgaben für KI-Basismodelle sowie die Regeln zu Aufsicht und Governance. Außerdem besteht die Pflicht zur KI-Kompetenz des Teams ohne Übergangsfrist bereits seit dem 2. Februar 2025. 

Umsetzung und Verschiebung

Die für die Praxis sichtbarste Regel greift am 2. August 2026: die Offenlegungspflicht für patientenzugewandte KI. Demnach muss etwa ein Chatbot oder ein Telefonassistent als KI erkennbar sein. Diese Regel bleibt fest terminiert und ist von den jüngsten Verschiebungen ausdrücklich nicht erfasst. Verschoben wird hingegen die strengste Stufe, die Betreiberpflichten für Hochrisiko-KI. Diese sollten ursprünglich ebenfalls Anfang August in Kraft treten. Dabei trennt die Verordnung Anbieter und Betreiber. Anbieter sind Hersteller oder Inverkehrbringer eines Systems, Betreiber sind diejenigen, die es im Alltag einsetzen.

Für Betreiber von Hochrisiko-KI-Systemen, etwa Kliniken und Praxen sowie deren Personal, gelten nach der EU-KI-Verordnung spezifische Sorgfaltspflichten im Arbeitsalltag. Sie müssen die Systeme strikt gemäß den Vorgaben der offiziellen Betriebsanleitung nutzen und durch ausreichend qualifiziertes Personal fortlaufend menschlich beaufsichtigen lassen. Zudem sind sie dafür verantwortlich, dass die eingegebenen Daten für den Einsatzzweck relevant und repräsentativ sind. Tritt im Betrieb ein Risiko oder eine Fehlfunktion auf, muss dies unverzüglich dem Anbieter gemeldet werden. Schließlich verpflichtet die Verordnung die Betreiber dazu, die automatisch generierten Systemprotokolle für einen Zeitraum von mindestens sechs Monaten aufzubewahren, um die Nachvollziehbarkeit der KI-Entscheidungen zu gewährleisten.

Der „Digitale Omnibus on AI“

Anfang Mai 2026 haben sich der Rat und das Europäische Parlament auf den „Digital Omnibus on AI“, ein Änderungspaket, das diese Pflichten nach hinten rückt, geeinigt. Mitte Juni 2026 stimmte auch das Parlament im Plenum zu. Bis zur Veröffentlichung im EU-Amtsblatt bleibt formal der bisherige Wortlaut maßgeblich. Demnach sollen die Betreiberpflichten für eigenständige Hochrisiko-Systeme nun erst ab dem 2. Dezember 2027 und für KI in regulierten Produkten, wie beispielsweise Medizinprodukten, erst ab dem 2. August 2028 gelten. Die Verzögerung für diese Verordnungsstufe ist allerdings kein Sinneswandel, sondern vielmehr das Eingeständnis, dass die erforderlichen technischen Normen und die zuständigen Behörden nicht rechtzeitig fertig waren.

Bei der Verwendung von KI im klinischen Alltag lohnt es sich, genau hinzusehen, denn nicht jedes Werkzeug ist automatisch ein Medizinprodukt mit hoher Risikostufe. Ausschlaggebend sind Zweckbestimmung und Funktion. Ein System, das ein Gespräch lediglich transkribiert und strukturiert, ist weder ein Medizinprodukt noch eine Hochrisiko-KI. Sobald es jedoch eigenständig Diagnose-Codes vorschlägt, Kontraindikationen markiert oder Befunde priorisiert, leitet es diagnostische Informationen ab und fällt in den Hochrisikobereich. Wie Befunde zusammengefasst und strukturiert werden, muss genau nachvollziehbar und dokumentierbar sein.

Arztbriefe generieren: Hochrisiko oder nicht?

Ein Beispiel aus Berlin zeigt, wie nah diese Grenze im Alltag ist: Microsofts Dokumentationsassistent „Dragon Copilot“, der seit Oktober 2025 in Deutschland verfügbar ist, wurde vorab ein halbes Jahr lang von etwa 70 Ärzt:innen verschiedener Fachrichtungen an der Charité – Universitätsmedizin Berlin getestet. Das System hört Patient:innengespräche mit und erzeugt daraus Notizen und Briefe, die das ärztliche Personal nur noch prüfen und freigeben muss. Der Anbieter belässt es bewusst bei der reinen Dokumentation, ohne Kodierung und ohne klinische Entscheidungsunterstützung. So vermeidet er die Hochrisiko-Einstufung samt vollem Pflichtenkatalog.

Allerdings entfallen selbst bei KI-Produkten ohne Hochrisiko-Einstufung die rechtlichen Anforderungen nicht: Die KI-Kompetenz der Belegschaft muss sichergestellt werden. Für das Mithören der Gespräche muss eine Datenschutz-Folgenabschätzung vorliegen, und die ärztliche Letztverantwortung bleibt für jeden autorisierten Arztbrief bestehen. Daniel Kleiboldt, Legal Engineer für KI-Compliance im Gesundheitswesen, formuliert die Grenze auf schriftliche Anfrage unmissverständlich: „Kein Befund einer KI darf ungeprüft in die Akte oder gar in die Behandlung wandern.”

Schatten-KI: das unsichtbare Risiko

Das größte Risiko ist oft nicht das geprüfte Hochrisiko-System, sondern jenes, von dem niemand weiß. Dieses Phänomen wird „Schatten-KI“ (englisch: Shadow AI) genannt – angelehnt an die Schatten-IT – und bedeutet, dass Mitarbeitende KI-Werkzeuge ohne Freigabe und ohne Wissen der Organisation nutzen: der Arzt, der Briefe durch ChatGPT oder andere Sprachmodelle laufen lässt, die Medizinische Fachangestellte, die Patient:innendaten in ein KI-Übersetzungswerkzeug eingibt, oder das Qualitätsmanagement, das Berichte von einem Sprachmodell zusammenfassen lässt.

Dabei handelt es sich keineswegs um eine Randerscheinung. Eine Erhebung von Wolters Kluwer Health unter mehr als 500 im Gesundheitswesen tätigen Personen verdeutlichte dies bereits Anfang des Jahres: Demnach gaben etwa 40 Prozent der Befragten an, dass ihnen am Arbeitsplatz unautorisierte KI-Tools begegnet seien. Knapp 20 Prozent nutzten diese Werkzeuge selbst und jede:r Zehnte gab an, eine solche Anwendung sogar unmittelbar in der Versorgung von Patient:innen einzusetzen. Die Daten stammen überwiegend aus dem angloamerikanischen Raum, doch das Muster ist auf Deutschland übertragbar. Der Treiber ist dabei selten böser Wille, sondern Zeitdruck, Arbeitsverdichtung und das Fehlen einer zugelassenen Alternative.

Kleiboldt bringt das Grundproblem auf den Punkt: „Die meisten Praxen haben für fast alles eine Ordnung, vom Hygieneplan über den Brandschutz bis zum Datenschutz. Für die Künstliche Intelligenz, die längst im Sprechzimmer mitläuft, gibt es bislang oft nur ein gutes Bauchgefühl.” Im Schadensfall, so der Jurist, werde genau dieser blinde Fleck teuer. 

Haftung und Berufsordnung 

Wer Patientendaten in einen ungeprüften Cloud-Dienst eingibt, riskiert einen direkten Verstoß gegen die DSGVO. Seit der Reform von 2017 dürfen externe Dienstleister nur mitwirken, wenn sie in Textform zur Verschwiegenheit verpflichtet, über die Straffolgen belehrt und sorgfältig ausgewählt wurden. Diese Bedingungen erfüllt ein frei zugängliches Sprachmodell nicht.

Die Haftung wirkt auf drei Ebenen: Verwaltungsrechtlich drohen Bußgelder von bis zu 15 Millionen Euro oder drei Prozent des Jahresumsatzes. Zivilrechtlich bleibt die Verantwortung beim Menschen, denn KI gilt als Werkzeug im Rahmen des Behandlungsvertrags nach § 630a BGB. Ohne wirksame Aufsicht droht bei Fehlern eine Beweislastumkehr wegen grober Behandlungsfehler. Die neue EU-Produkthaftungsrichtlinie verschärft dies bis Ende 2026 zusätzlich. Zudem können bei Verstößen berufsrechtliche Konsequenzen drohen.

Christoph Weinrich, Leiter des Stabsbereichs Recht der Kassenärztlichen Bundesvereinigung (KBV), warnt jedoch vor Panik und hält extreme Bußgeld-Drohungen für überzogen. Die Pflichten seien real, aber beherrschbar. Nach Einschätzung von Weinrich ist es unerlässlich, ausschließlich zertifizierte medizinische KI-Systeme für die Behandlung zu nutzen, da sämtliche Produkte ohne entsprechende Zertifizierung rechtlich von der therapeutischen Anwendung ausgeschlossen sind. In diesem Zusammenhang hebt er hervor, dass ChatGPT in seiner isolierten Form – also ohne Integration in eine zugelassene Fachsoftware – nicht als Medizinprodukt gilt. Folglich ist der Einsatz dieses Sprachmodells im Rahmen der medizinischen Behandlung untersagt.

Berlin und die Zukunft der KI in der Medizin

In Berlin bündelt das im Oktober 2025 gegründete Institut für Künstliche Intelligenz in der Medizin (IKIM) unter der Leitung von Prof. Dr. med. Alexander Meyer die Bereiche Forschung, Entwicklung und Implementierung medizinischer KI als Infrastruktur und nicht als Einzelprojekt. Und auch die Standespolitik ist verflochten: So gehört der Präsident der Ärztekammer Berlin, PD Dr. med. Peter Bobbert, dem Arbeitskreis „Künstliche Intelligenz in der Medizin“ des Wissenschaftlichen Beirats der Bundesärztekammer an. 

Der Aufschub aus Brüssel sorgt also für mehr Vorbereitungszeit, er bedeutet jedoch keine Entwarnung. Zwar treten die strengen Betreiberpflichten erst später in Kraft, doch Sorgfalt, Transparenz und ärztliche Letztverantwortung gelten schon heute.