Zum Inhalt springen

Strategie · 10. August 2026

Lokale KI selbst hosten: was sie kostet und ab wann sie sich rechnet

Eine 96-GB-Grafikkarte kostet über drei Jahre gerechnet rund CHF 5'600 im Jahr, dasselbe Arbeitsvolumen über eine Schweizer Schnittstelle keine CHF 400. Wo der Kipppunkt liegt - und was das DSG sagt.

Autor

Reto Lutz

Gründer & KI-Trainer

Das Wichtigste in Kürze

  • Eine RTX PRO 6000 Blackwell mit 96 GB kostet in der Schweiz ab CHF 10'808 (Stand 10. August 2026); über drei Jahre abgeschrieben und mit Strom und Kühlung sind das mindestens CHF 5'581 pro Jahr.
  • Zehn intensiv mit KI arbeitende Personen erzeugen ein Volumen, das über eine Schweizer Schnittstelle rund CHF 347 im Jahr kostet; die eigene Karte rechnet sich erst ab etwa 160 solchen Personen.
  • In den geprüften Erlassen und Aufsichtsdokumenten verlangt keines lokales Hosting - der Anwaltsverband führt den Eigenbetrieb als eine von drei zulässigen Varianten.
  • Was der Eigenbetrieb verändert, ist die Verteilung der Pflichten, nicht ihre Menge. Protokollierung und Bearbeitungsreglement nach der Datenschutzverordnung leisten Sie dann selbst.

Stand: 10. August 2026. Alle Preise sind an diesem Tag abgerufen, alle Gesetzesangaben beziehen sich auf die an diesem Tag geltenden Fassungen. Beides bewegt sich: Der Speichermarkt treibt die Hardwarepreise, und eine der zitierten Preisangaben ändert sich am 1. September, wenn cloudscale.ch seine GPU-Preise erhöht. Ich bin kein Jurist; der Beitrag ersetzt keine Rechtsberatung. Quellen mit Abrufdatum am Ende.

Technikraum eines Schweizer Kleinbetriebs: auf einem Metallregal steht ein Tower-Rechner mit abgenommener Seitenwand, im Inneren eine grosse Grafikkarte. Daneben aufgerollte Netzwerkkabel, auf dem Boden ein halb offener Karton, an der Wand ein Bodenablauf und ein Putzmopp.
So sieht KI im eigenen Haus tatsächlich aus - kein Rechenzentrum, sondern ein Regal im Technikraum.

Die Frage kommt meist in dieser Form: Was kostet es, eine eigene Top-KI im Haus zu betreiben, statt Daten zu einem amerikanischen Anbieter zu schicken? In der Frage steckt eine Verwechslung. Eine Spitzen-KI lässt sich nicht kaufen. Kaufen lässt sich Hardware, auf der ein gutes offenes Modell läuft - und der Abstand zwischen diesem Modell und dem besten geschlossenen ist der eigentliche Preis, nicht die Grafikkarte.

Eine eigene Spitzen-KI ist nicht käuflich

Ein Modell mit offenen Gewichten ist ein Sprachmodell, dessen trainierte Parameter zum Herunterladen freigegeben sind, sodass es ohne Verbindung zum Hersteller auf eigener Hardware läuft. Offengelegte Trainingsdaten und Trainingscode gehören ausdrücklich nicht dazu - das verlangt erst die Open-Source-Definition der Open Source Initiative.

Der Abstand zur Spitze ist kleiner geworden, und er lässt sich beziffern, allerdings nur mit Datum. Auf dem Intelligence Index von Artificial Analysis lag das beste offene Modell am 10. August 2026 bei 60 Punkten (Kimi K3), das beste geschlossene bei 63. Ende April 2026 waren es sechs Punkte Unterschied, ein Jahr davor rund dreizehn.

Diese drei Punkte täuschen allerdings über die Verteilung hinweg. Bei den schwersten Prüfungen bleibt der Abstand deutlich: Auf Humanity’s Last Exam kamen die drei besten offenen Modelle Ende April auf 34 bis 36 Prozent gegenüber 44 Prozent beim damals führenden geschlossenen Modell, bei agentischem Programmieren auf 43 bis 46 gegenüber 61 Prozent. Für Zusammenfassungen und Recherche genügt ein offenes Modell. Für die Aufgaben, an denen sich Modelle unterscheiden, nicht.

Für Schweizer Firmen ist Apertus der naheliegende Kandidat: das offene Sprachmodell von EPFL, ETH Zürich und dem nationalen Supercomputing-Zentrum CSCS, seit dem 24. Juli 2026 in Version 1.5 verfügbar, unter Apache 2.0 lizenziert und damit auch kommerziell nutzbar. Herausgegeben wird es allerdings erst nach Zustimmung zu einer Nutzungsrichtlinie, die unter anderem verlangt, dass Sie ETH und EPFL von Ansprüchen Dritter freistellen und alle sechs Monate eine Filterdatei nachziehen. Metas Llama 4 steht sogar gar nicht unter einer Open-Source-Lizenz, sondern unter einer Community-Lizenz mit Namensnennungspflicht. Wer ein Modell in den eigenen Betrieb holt, liest die Lizenz, nicht das Etikett.

Was die Hardware kostet

Die Währung beim Selbstbetrieb ist Grafikspeicher. Ein Modell muss hineinpassen, sonst läuft es nicht - oder es läuft so langsam, dass niemand es benutzt. Wie viel Speicher ein Modell braucht, hängt an der Quantisierung, also daran, wie stark die Gewichte verkleinert wurden. Am Beispiel eines 27-Milliarden-Parameter-Modells von Qwen: in 4 Bit belegt es 16,7 GB, in 8 Bit 28,6 GB, unquantisiert 53,8 GB.

Der Massstab für die Rechnung weiter unten ist die mittlere Klasse: gpt-oss-120b von OpenAI lädt 65 GB und braucht laut Hersteller eine Karte mit 80 GB - in der Schweiz heisst das die RTX PRO 6000 Blackwell mit 96 GB.

01 · bis 24 GB

Kleines Modell

Ein 27-B-Modell in 4 Bit belegt 16,7 GB, Gemma 4 mit 31 Mrd. Parametern lädt 20 GB. Passt auf eine GeForce RTX 5090 mit 32 GB.

ab CHF 3'900

02 · bis 96 GB

Mittleres Modell

gpt-oss-120b lädt 65 GB und braucht laut OpenAI eine 80-GB-Karte. Dafür die RTX PRO 6000 Blackwell Workstation mit 96 GB.

ab CHF 10'808

03 · über 140 GB

Grosses Modell

Apertus 1.5 mit 70 Mrd. Parametern sind 144,6 GB an Dateien - dafür reicht selbst eine H200 NVL mit 141 GB nicht. Es braucht mehrere Karten oder eine quantisierte Fassung.

CHF 29'999 je Karte

Speicherbedarf und passende Karte. Ab-Preise einzelner Händler laut Toppreise.ch, abgerufen am 10. August 2026, inklusive Mehrwertsteuer. Die Modellgrössen sind Downloadgrössen quantisierter Standardvarianten, nicht der Speicherbedarf im Betrieb.

Bei den Rechenzentrumskarten ist die Lage in der Schweiz dünn. Die H200 NVL mit 141 GB ist zu CHF 29’999 gelistet - bei genau einem Händler. Für die H100 gibt es keine reguläre Schweizer Listung, für die neueren B200-Karten keinen öffentlichen Preis. Und die Richtung stimmt auch nicht: NVIDIA hat den Listenpreis der RTX PRO 6000 im Juni 2026 auf USD 13’250 angehoben, 55 Prozent über dem Einführungspreis vom März 2025, und ein europäischer Händler kündigt für die DGX Station weitere 10 bis 20 Prozent an.

Gleichzeitig ist ein beliebtes Argument weggefallen: der Mac Studio als günstiger Weg zu viel Speicher. Apple hat im März 2026 die 512-GB-Option gestrichen; im Schweizer Konfigurator standen am 10. August 2026 nur noch 36, 64 und 96 GB zur Auswahl. Wer mehr als 96 GB zusammenhängenden Speicher will, landet beim NVIDIA DGX Spark mit 128 GB ab CHF 4’520 - oder gleich bei der DGX Station mit 748 GB zu rund USD 100’000 ohne Mehrwertsteuer. Dazwischen liegt derzeit nichts.

Die Rechnung: ab wann sich die eigene Karte lohnt

Gegen ein offenes Modell auf einer Schweizer Schnittstelle rechnet sich die eigene Karte erst bei einer Nutzungsmenge, die rund 160 intensiv mit KI arbeitenden Personen entspricht. Wie diese Zahl zustande kommt, steht hier offen - es ist eine Rechnung mit deklarierten Annahmen, keine Messung.

Kostenseite Hardware, für eine RTX PRO 6000 Blackwell Workstation mit 96 GB: Anschaffung CHF 10’808, über drei Jahre abgeschrieben, macht CHF 3’603 im Jahr. Diese Variante zieht laut NVIDIA 600 Watt; im Dauerbetrieb sind das 5’256 Kilowattstunden. Der EKZ-Geschäftskundentarif liegt 2026 im Winterhalbjahr bei 24,44 und im Sommerhalbjahr bei 20,14 Rappen; ich rechne durchgehend mit dem höheren Wert, was rund CHF 1’285 ergibt - über das Jahr gemittelt wären es etwa CHF 1’170. Der oft zitierte Wert von 27,7 Rappen taugt hier übrigens nicht: Das ist der Haushaltsmedian der ElCom, nicht der Gewerbetarif. Für Kühlung und Infrastruktur gibt es keine Schweizer KMU-Zahl; ersatzweise rechne ich mit dem weltweiten Rechenzentrums-Mittelwert von 1,54, also rund CHF 693. Zusammen sind das CHF 5’581 pro Jahr für eine einzige Karte - ohne den Rechner drumherum, den Raum und die Betreuung.

01 · Anschaffung

CHF 3'603

CHF 10'808 für die Karte, über drei Jahre verteilt. Amazon hat die Nutzungsdauer eines Teils seiner Server 2025 wegen des KI-Tempos von sechs auf fünf Jahre gesenkt.

02 · Strom

CHF 1'285

600 Watt rund um die Uhr sind 5'256 kWh. Gerechnet mit dem höheren EKZ-Wintersatz für Geschäftskunden, 24,44 Rp./kWh exkl. MwSt.

03 · Kühlung

CHF 693

Pro Watt Rechenlast rund ein halbes Watt für Kühlung und Infrastruktur - geliehener Mittelwert aus der weltweiten Rechenzentrumserhebung des Uptime Institute 2025.

CHF 5'581 im Jahr für eine Karte. Nicht enthalten: der Rechner drumherum, der Raum, die Wartung und die Person, die das betreibt.

Die Ungenauigkeiten zeigen dabei in beide Richtungen, aber nicht gleich weit. Beim Strom rechne ich bewusst am oberen Rand, das sind gut hundert Franken zu viel; auch der Dauerbetrieb ist eine Annahme, denn eine KMU-Maschine steht die meiste Zeit still - was den Strom senkt, die Abschreibung aber nicht. Dem stehen Posten gegenüber, die ganz fehlen: Zu Personalaufwand und Wartungsverträgen habe ich keine zitierfähige Quelle gefunden, nur Blogbeiträge ohne Methodik. Wer sie einsetzt, kommt über die CHF 5’581, nicht darunter.

Nun die Gegenseite. Angenommen, eine Person arbeitet intensiv mit KI: 50 Anfragen pro Arbeitstag, je 2’000 Token Eingabe und 700 Token Antwort. Bei 220 Arbeitstagen sind das 22 Millionen Eingabe- und 7,7 Millionen Ausgabe-Token im Jahr, für zehn solche Personen 220 und 77 Millionen. Über Infomaniak, das Apertus 1.5 nach eigenen Angaben auf Servern in der Schweiz betreibt, kostet das CHF 0.70 beziehungsweise CHF 2.50 pro Million Token, jeweils exklusive Mehrwertsteuer - zusammen CHF 347 im Jahr für das ganze Team.

Damit die eine Karte gleich viel kostet wie diese Schnittstelle, bräuchte es rund 4,8 Milliarden Token pro Jahr. Das ist das Sechzehnfache dessen, was das gerechnete Zehner-Team erzeugt. Der Kipppunkt liegt also bei etwa 160 intensiv arbeitenden Personen - und ob eine einzelne Karte 160 Personen bedient, ist damit noch nicht gesagt.

Beide Zahlen gelten, für verschiedene Fragen. Wer offenes Modell gegen offenes Modell hält, landet bei 160 Personen. Wer die eigene Karte gegen ein Spitzenmodell über die Schnittstelle stellt - dieselben Mengen kosten bei Claude Opus 5 mit USD 5 und 25 pro Million Token rund USD 3’000 im Jahr -, landet bei knapp zwanzig, kauft mit der Karte aber das schwächere Modell. Diese zweite Rechnung ist zudem grob: Die Dollarpreise sind netto, die Schweizer Zahlen teils inklusive, teils exklusive Mehrwertsteuer, und die neueren Anthropic-Modelle erzeugen laut Anbieter für denselben Text rund 30 Prozent mehr Token.

Der Grund für die Schieflage ist die Auslastung: Die niedrigen Kosten pro Token entstehen nur, wenn eine Karte unter Volllast steht und viele Anfragen gleichzeitig abarbeitet. Ein KMU lastet sie zu wenigen Prozent aus - und zahlt sie trotzdem ganz. Wer statt der Karte einen Anbieter wählt, sollte dafür den Vendor-Lock-in mitdenken.

Der Mittelweg: Schweizer Infrastruktur ohne eigenes Rack

Zwischen dem Rechner im Keller und der US-Cloud liegt eine Ebene, die in dieser Debatte fast immer fehlt: Schweizer Anbieter, die offene Modelle auf Schweizer Servern betreiben. Infomaniak ist der transparenteste - der Katalog steht mit Preisen auf der Website, und die Schnittstelle folgt dem OpenAI-Standard, ein Wechsel bestehender Anwendungen ist also überschaubar. Exoscale betreibt verwaltete Inferenz-Endpunkte und nennt dafür ausdrücklich die Zone Genf, gibt Grafikkarten aber nur nach manueller Prüfung frei. cloudscale.ch rechnet sekundengenau ab und erhöht die Preise per 1. September 2026. Und das CSCS, das Apertus mitentwickelt hat, verkauft Rechenzeit auch an private Firmen, ab einem Mindestbezug von CHF 3’000.

Hardware ist in der Schweiz also transparent bepreist, Betriebsangebote sind es fast nie: Swisscom, Green und mehrere kleinere Anbieter bewerben KI-Infrastruktur, ohne Zahlen zu nennen. Wer vergleichen will, muss anfragen.

Wer die Verarbeitung bei einem grossen Anbieter in der Schweiz halten will, zahlt das mit Modellrückstand. In der Azure-Region Switzerland North stehen für regionale Bereitstellungen laut Microsofts eigener Übersicht nur gpt-4.1, gpt-4.1-mini und gpt-4o zur Verfügung; gpt-5.1 gibt es in Europa allein in Sweden Central. Das ist dieselbe Abwägung wie bei den Geschäftsabos von ChatGPT, Claude und Copilot - nur eine Stufe weiter.

Was das Datenschutzgesetz wirklich verlangt - und was nicht

Ich habe gezielt nach der Schweizer Vorschrift gesucht, die lokales Hosting verlangt - im DSG und in der Datenschutzverordnung, im Strafgesetzbuch, beim EDÖB, beim Anwaltsverband und bei der FINMA. Gefunden habe ich keine; durchwegs stehen dort Bedingungen statt Standortvorgaben.

Die KI-Wegleitung des Schweizerischen Anwaltsverbands führt den Eigenbetrieb im Kanzleinetz als eine von drei zulässigen Varianten, gleichrangig neben dem Bezug über einen Provider nach den Outsourcing-Regeln und der Einverständniserklärung der aufgeklärten Klientschaft. Ein vom Verband in Auftrag gegebenes Rechtsgutachten der Universität Zürich hält fest, aus dem Berufsgeheimnis nach Art. 321 StGB folge keine Pflicht, nur Schweizer Anbieter zu wählen; massgebend sei die Risikoadäquanz. Die FINMA regelt in ihrer Aufsichtsmitteilung 08/2024 Governance, Tests und Outsourcing-Kontrollen - einen Betriebsort schreibt sie nicht vor. Und der EDÖB hält KI-Bearbeitungen mit hohen Risiken für zulässig, sofern angemessene Schutzmassnahmen getroffen und eine Datenschutz-Folgenabschätzung durchgeführt werden.

Was der Eigenbetrieb verändert, ist die Verteilung der Pflichten, nicht ihre Menge. Zwei Fragen fallen weg: Wer selbst betreibt, hat keinen Auftragsbearbeiter, also stellt sich Art. 9 DSG nicht - und es werden keine Daten ins Ausland bekanntgegeben, also auch nicht Art. 16 und 17. Das folgt allerdings aus den Legaldefinitionen des Gesetzes, nicht aus einer Aussage einer Behörde; ich lese es so, gesagt hat es mir niemand.

Was bleibt, ist mehr Arbeit, nicht weniger. Art. 8 DSG verpflichtet zu risikoangemessener Datensicherheit, unabhängig davon, wer das System betreibt. Die Datenschutzverordnung konkretisiert das: Schutzbedarf bestimmen, Zugriffs- und Benutzerkontrolle, ein Bearbeitungsreglement bei umfangreicher Bearbeitung besonders schützenswerter Daten - und eine Protokollierung, deren Wortlaut seit dem 1. Dezember 2025 neu gefasst ist: Statt vom Lesen spricht die Verordnung nun vom Zugreifen auf die Daten. Protokolle sind mindestens ein Jahr getrennt vom System aufzubewahren, und das Missachten der Mindestanforderungen ist mit Busse bis CHF 250’000 bedroht. Wer diese Anforderungen bisher einem Anbieter überliess, leistet sie beim Eigenbetrieb selbst.

Für Berufsgeheimnisträger kommt ein Punkt hinzu: Art. 321 StGB nennt Anwältinnen, Notare, Ärzte und die nach Obligationenrecht verpflichteten Revisoren, nicht aber Treuhänder und Buchhalter. Das heisst nicht, dass diese frei wären - sie unterstehen dem DSG und vertraglichen Pflichten. Wie sich das für Kanzleien auflöst, steht im Beitrag zum Berufsgeheimnis, die Grundlagen in der Übersicht zum revidierten DSG.

Eine Abgrenzung, weil die Frage in einem anderen Beitrag schon einmal auftauchte: In LLM Grooming und vergiftete Trainingsdaten steht, gegen manipulierte Trainingskorpora nütze ein Wechsel auf On-Premise nichts, weil ein lokal betriebenes Modell dieselbe Datenbasis hat. Das gilt weiterhin. Gegen Datenabfluss nützt der Betriebsort sehr wohl - hier geht es um dieses zweite Problem.

Wann sich der Eigenbetrieb trotzdem lohnt

Vier Konstellationen, in denen die Rechnung kippt. Erstens echte Netztrennung: Wenn eine Anlage oder ein Datenbestand keine Aussenverbindung haben darf, entfällt die Alternative. Zweitens Dauerauslastung - wer grosse Mengen Dokumente im Stapel verarbeitet und die Karte tatsächlich beschäftigt hält, verschiebt den Kipppunkt nach unten. Drittens eine vertragliche Auflage einer Kundin, die keinen Dritten zulässt; das ist ein Vertragsproblem, kein gesetzliches, aber es bindet genauso. Viertens Feintuning auf eigenen Daten.

Für alles andere ist der Eigenbetrieb der teurere Weg zum schwächeren Modell.

Häufige Fragen

Was kostet es, ein KI-Modell im eigenen Haus zu betreiben?

Mindestens rund CHF 5’581 im Jahr für eine einzelne Grafikkarte mit 96 GB: CHF 3’603 abgeschriebene Anschaffung, CHF 1’285 Strom und CHF 693 Kühlung, Stand 10. August 2026. Nicht enthalten sind Rechner, Raum, Wartung und Betreuung. Dieselbe Arbeitsmenge kostet ein zehnköpfiges Team über eine Schweizer Schnittstelle rund CHF 347 im Jahr.

Reicht ein Mac Studio für ein grosses Modell?

Für Neukäufe in der Schweiz nicht mehr: Der Konfigurator bot am 10. August 2026 höchstens 96 GB, und ein 70-Milliarden-Modell wie Apertus 1.5 belegt unquantisiert 144,6 GB. Für kleinere Modelle bis rund 30 Milliarden Parameter reicht ein Mac Studio weiterhin.

Was bringt Apertus einem Schweizer KMU?

Apertus ist ein unter Apache 2.0 lizenziertes, in der Schweiz entwickeltes Sprachmodell, das Sie selbst betreiben oder bei einem Schweizer Anbieter beziehen können - bei Infomaniak für CHF 0.70 und CHF 2.50 pro Million Token. Zu belastbaren Leistungswerten von Version 1.5 gegenüber anderen Modellen kann ich nichts sagen: Die Modellkarte enthält nur Diagramme, keine Zahlen.

Verlangt eine Schweizer Aufsichtsbehörde lokales Hosting?

In den geprüften Erlassen und Aufsichtsdokumenten verlangt keines den Eigenbetrieb. Die KI-Wegleitung des Anwaltsverbands nennt drei gleichrangige Wege, die FINMA schreibt keinen Betriebsort vor. Verlangt wird vor jeder Nutzung die Klärung, wer Zugriff auf die eingegebenen Daten hat und wo sie zwischengespeichert werden.

Praxis-Fazit

Die Frage nach der eigenen KI im Haus zerfällt in drei Antworten. Technisch bekommen Sie kein Spitzenmodell, sondern ein offenes - für die meisten Büroaufgaben genügt das, für die schwierigsten nicht. Wirtschaftlich rechnet sich eine Karte für rund CHF 5’600 im Jahr erst bei einer Nutzungsmenge, die etwa 160 intensiv arbeitenden Personen entspricht. Und rechtlich verlangt in den geprüften Quellen weder Gesetz noch Aufsicht den Eigenbetrieb - er verschiebt nur, welche Pflichten Sie selbst tragen, und das sind eher mehr.

Der Weg dazwischen ist der, an dem die meisten Betriebe landen sollten: ein offenes Modell auf Schweizer Servern, bezogen als Dienstleistung. Der Preis dafür ist die Rückkehr des Auftragsbearbeiters - Art. 9 DSG samt Vergewisserungspflicht gilt dann wieder, und das Modell bleibt ein offenes mit dem beschriebenen Rückstand. Der Test kostet nichts: Bei Infomaniak laufen die ersten Anfragen gegen Apertus auf Gratis-Credits, ohne Vertragsbindung. Damit ist an einem Nachmittag geklärt, ob ein offenes Modell Ihre Aufgaben überhaupt löst - die Kostenfrage stellt sich erst danach. Welche Aufgaben es im Betrieb tragen soll, klären die KI-Schulungen für Teams vor der Werkzeugfrage. Und wer die drei Wege - Schweizer Anbieter, offenes Modell, eigener Betrieb - für den eigenen Fall gegeneinander gestellt haben will, findet die Betriebsmodelle im Vergleich in der Standortbestimmung, samt der Einschränkung, die an jedem hängt.

Quellen (geprüft 10. August 2026):

Schlagworte

#ki-strategie #kmu #schweiz #datenschutz #apertus #on-premise

Verwandte Insights

  1. 01

    AI-Beratung für KMU: den ersten Anwendungsfall selbst finden

    Bevor Sie ein AI-Audit einkaufen: die Frage, mit der die Forschung Aufgaben auf KI-Eignung prüft - und wie ein Schweizer KMU sie selbst durchgeht.

    Strategie · 6. August 2026

    Lesen →
  2. 02

    KI-Workshop für die Geschäftsleitung - vier Stunden realistisch

    Was eine Leitungsrunde in vier Stunden tatsächlich entscheiden kann, was danebengeht - und welche drei Fragen im Raum stehen, auch unausgesprochen.

    Strategie · 27. Juli 2026

    Lesen →
  3. 03

    KI-Weiterbildung als wichtigste Massnahme - was die 58 Prozent messen

    Die EY-Umfrage vom 27. Mai 2026 (n=604) wird als Beleg für Schulungsbedarf zitiert. Gelesen wird dabei meist die falsche Frage. Eine Einordnung mit allen Zahlen im Original.

    Strategie · 25. Juli 2026

    Lesen →
Kennenlernen buchen