Lokale KI im Unternehmen: Was ist heute realistisch?

Firmenwissen schützen. Kosten kontrollieren. KI an Ihre Abläufe anpassen.

KI kann heute mehr als Texte schreiben: Verbunden mit Unternehmenswissen und vorhandenen Anwendungen kann sie konkrete Aufgaben im Betriebsalltag unterstützen. Dafür lassen sich Dienste von Anbietern wie OpenAI, Google oder Anthropic nutzen. Eine Alternative ist lokal betriebene KI, die auf eigener Hardware oder einem angemieteten Server läuft. Der eigene Betrieb kann sinnvoll sein, wenn Sie mehr Kontrolle über vertrauliche Informationen, die Kosten und die Anpassung an Ihre Abläufe wünschen. Bei vollständig interner Verarbeitung können Ihre Daten im Unternehmensnetz bleiben. Entdecken Sie in diesem Artikel konkrete Einsatzmöglichkeiten für KI im praktischen Unternehmensalltag.

In diesem Beitrag:

• Ihr Wissen ist schon da. Machen Sie es nutzbar.
• Der Kunde ruft an. Sie kennen die Vorgeschichte.
• Angebote vorbereiten. Ähnliche Aufträge finden.
• E-Mails und Termine: Die Vorarbeit läuft automatisch.
• So kommt KI in Ihren Betrieb.
• Ihre Daten. Ihr Betrieb. Ihre Entscheidung.

Ihr Wissen ist schon da. Machen Sie es nutzbar.

Die Antwort steht im Unternehmen. Ihre Mitarbeiter müssen sie nur nicht mehr selbst zusammensuchen.

Wie wird eine Reklamation bearbeitet? Wer gibt ein Angebot frei? Welche Vereinbarung gilt für einen bestimmten Kunden? Häufig sind diese Informationen längst dokumentiert. Sie liegen in Confluence, Jira, SharePoint oder Notion, in internen Wikis wie MediaWiki oder BookStack, in Word-Dateien, PDFs und gemeinsamen Dateiablagen.

Eine KI-Anwendung kann die passenden Inhalte aus diesen Quellen heranziehen und für die aktuelle Aufgabe auswerten. Ein Mitarbeiter kann eine Frage stellen. Ebenso kann ein bestehender Vorgang den Anlass liefern, etwa ein Angebot, für das die Freigaberegel angezeigt werden soll.

Fiktives Beispiel: So erhält das Modell das nötige Unternehmenswissen.

Frage: Wer muss ein Angebot über 12.000 Euro freigeben?

Aus der internen Dokumentation ergänzt: Angebote über 10.000 Euro benötigen die Freigabe der Vertriebsleitung.

Auftrag an das Modell: Beantworte die Frage anhand dieser Regel und nenne die Quelle.

Ergebnis für den Mitarbeiter:

Das Angebot benötigt die Freigabe der Vertriebsleitung. Quelle: Confluence, „Angebotsfreigabe“.

Die Anwendung sucht zuerst die relevante Textstelle und gibt sie dem Modell zusammen mit der Frage mit. Größere Dokumentenbestände können dafür vorab aufbereitet und in einer durchsuchbaren Wissensablage erschlossen werden. Das Modell muss dadurch nicht mit sämtlichen Unternehmensdokumenten neu trainiert werden.

Ihr vorhandenes Wissen wird Teil der täglichen Arbeit. Die Antwort verweist auf ihre Grundlage, und der Mitarbeiter kann die Originalanleitung öffnen. Aktuelle Dokumente und passende Zugriffsrechte sind dafür entscheidend.

Der Kunde ruft an. Sie kennen die Vorgeschichte.

Was bisher passiert ist, steht beim Gespräch bereit.

Ein Kunde ruft an. Die telefonische Vorabfrage erfasst seinen Namen oder seine Kundennummer. Alternativ fragt der Mitarbeiter danach. Die Anwendung ordnet den Kunden zu und holt die freigegebenen Informationen aus dem Kundensystem: Vertragsdaten, bisherige Kontakte und interne Notizen.

Das Sprachmodell erhält diese Angaben zusammen mit dem Auftrag, den bisherigen Kundenverlauf kurz zusammenzufassen. Entscheidend ist dabei die Geschichte hinter den einzelnen Einträgen: Welche Themen sind abgeschlossen? Worum ging es zuletzt? Was steht noch aus?

Fiktives Beispiel: Alle Namen, Nummern, Adressen und Vorgänge sind erfunden. Die technische Darstellung ist vereinfacht. Unter „Eingang“ steht die erfasste Kundennummer; die übrigen Informationen ergänzt die Anwendung automatisch.

{
  "eingang": {
    "kundennummer": "K-DEMO-0042"
  },
  "aus_kundensystem_ergaenzt": {
    "name": "Mara Muster",
    "adresse": "Beispielstraße 12, 00000 Beispielstadt",
    "vertragsbeginn": "01.04.2025",
    "vertrag": "Wartungspaket Plus",
    "kontaktverlauf": [
      {
        "datum": "14.07.2026",
        "vorgang": "Störung gemeldet; am selben Tag behoben."
      },
      {
        "datum": "22.09.2026",
        "vorgang": "Kundin fragt nach Wartung für einen zweiten Standort."
      },
      {
        "datum": "29.09.2026",
        "vorgang": "Erweiterungsangebot versendet; Rückmeldung steht aus."
      }
    ],
    "interne_notiz": "Der bestehende Wartungsvertrag läuft unverändert weiter."
  },
  "auftrag": "Fasse die Kundengeschichte für den eingehenden Anruf kurz zusammen. Hebe den zuletzt dokumentierten Stand hervor und unterscheide abgeschlossene von offenen Themen."
}

Anzeige für den Mitarbeiter bei der Gesprächsannahme:

Zuletzt ging es um die Erweiterung auf einen zweiten Standort. Dazu wurde am 29. September ein Angebot versendet; die Rückmeldung steht noch aus. Der bestehende Wartungsvertrag läuft weiter. Die frühere Störung ist bereits behoben.

Sie erkennen die Entwicklung der Kundenbeziehung, ohne erst sämtliche Kontakte zu lesen. Die Zusammenfassung hebt den aktuellen Stand hervor und trennt ihn von erledigten Vorgängen. Name, Adresse und Vertragsdaten können daneben wie gewohnt angezeigt werden.

Angebote vorbereiten. Ähnliche Aufträge finden.

Die passende Grundlage steckt oft in einem früheren Angebot.

Eine neue Anfrage kommt herein. Ähnliche Arbeiten haben Sie bereits angeboten oder ausgeführt – aber welches Angebot passt dazu? Eine KI-Anwendung kann Ihr Angebotsarchiv anhand der Anfrage durchsuchen und vergleichbare Angebote mit den relevanten Leistungspositionen und damaligen Preisen bereitstellen.

Fiktives Beispiel aus einem Malerbetrieb:

Kundenanfrage: „Bitte erstellen Sie uns ein Angebot für das Streichen von zehn Büroräumen.“

Die Anwendung findet dazu:

Die Treffer werden mit Verweisen auf die Originalangebote angezeigt. Ihr Mitarbeiter kann sie direkt öffnen, die passenden Positionen auswählen und Mengen, Preise und Leistungen für die neue Anfrage anpassen.

Das spart die Suche im Archiv und erleichtert die Kalkulation. Bereits vorhandene Erfahrung steht bei der Angebotserstellung bereit. Falls zusätzlich tatsächliche Aufwände dokumentiert sind, kann ein Soll-Ist-Vergleich die Einschätzung ergänzen.

Über passende Schnittstellen lässt sich die Recherche mit Ihrer vorhandenen Angebotssoftware oder Dokumentenablage verbinden.

E-Mails und Termine: Die Vorarbeit läuft automatisch.

Eine Nachricht kommt an. Die Anwendung erkennt, wohin sie gehört.

Ein gemeinsames Postfach kostet jeden Tag Aufmerksamkeit: Nachrichten lesen, Anliegen erkennen, weiterleiten und den richtigen Vorgang suchen. Eine angebundene KI kann diese Vorarbeit automatisch übernehmen, sobald eine Nachricht eingeht.

Beispiele für die automatische Einordnung:

Die Nachricht bleibt für den Mitarbeiter verfügbar. Bei unklaren Anliegen kann die Anwendung die Zuordnung offenlassen. Für häufige Fragen lassen sich außerdem Antworten anhand freigegebener Informationen vorbereiten. Der automatische Versand kommt für klar festgelegte Fälle infrage.

Auch bei der Terminabstimmung kann eine E-Mail den Ablauf auslösen. Das Modell erkennt den Terminwunsch; eine angebundene Kalenderfunktion prüft die tatsächliche Verfügbarkeit.

Fiktives Beispiel für eine Terminvorbereitung:

Eingehende Nachricht: „Für die Wartung passen uns am Freitag Zeiten zwischen 9 und 12 Uhr.“

Aus dem Vorgang ergänzt: Wartung dauert eine Stunde; zuständig ist der Servicetechniker.

Kalenderprüfung: Freitag, 10 bis 11 Uhr, ist beim zuständigen Techniker frei.

Vorbereitung: Dieser Termin wird dem Mitarbeiter zur Bestätigung vorgeschlagen.

Eigene Regeln lassen sich dabei berücksichtigen, etwa Anfahrtszeiten, benötigte Mitarbeiter oder die Dauer bestimmter Leistungen. Sie legen fest, welche Schritte automatisch erfolgen und an welcher Stelle ein Mitarbeiter entscheidet.

So kommt KI in Ihren Betrieb.

Eigene KI klingt nach riesigen Rechenzentren und teurer Hardware. Für viele Aufgaben geht es auch deutlich kleiner.

Welche Ausstattung dafür nötig ist, hängt von der Aufgabe ab. Eine wichtige Möglichkeit, den Speicherbedarf zu reduzieren, ist die Quantisierung.

KI-Modelle bestehen aus Milliarden gespeicherten Zahlenwerten. Je genauer diese Werte gespeichert werden, desto mehr Platz brauchen sie. Bei der Quantisierung werden sie mit geringerer Genauigkeit dargestellt.

Das ist wie das Runden einer Entfernungsangabe. Für die Fahrt zum Kunden reicht „rund 25 Kilometer“. „25,137842 Kilometer“ bringt Ihnen bei der Planung kaum zusätzlichen Nutzen. Sie erreichen Ihr Ziel trotzdem, obwohl die Angabe weniger präzise ist.

Ähnlich kann ein Modell seine Aufgabe auch mit gröber gespeicherten Zahlenwerten erfüllen. Die Analogie erklärt das Prinzip; wie stark sich die geringere Genauigkeit auf eine konkrete Aufgabe auswirkt, hängt vom Modell und vom verwendeten Verfahren ab.

Der große Vorteil: Jeder einzelne Wert braucht weniger Speicher. Bei Milliarden solcher Werte macht das einen erheblichen Unterschied. Für ein Modell mit 27 Milliarden Parametern ergibt sich rechnerisch:

Dasselbe Modell: 13,5 GB statt 54 GB für seine Zahlenwerte. Für das Speicherformat und den laufenden Betrieb kommt weiterer Bedarf hinzu. Trotzdem kann dieser Unterschied den Einsatz auf kleinerer Hardware ermöglichen.

Hohe Qualität bei deutlich geringerem Speicherbedarf. Ein gut quantisiertes Modell kann einen großen Teil seiner Leistungsfähigkeit behalten und weiterhin Ergebnisse in hoher Qualität liefern. Wie gut das für Ihren Einsatz funktioniert, zeigt ein Test mit Ihren Aufgaben und Daten.

Viel Grafikspeicher kann teuer werden. Es gibt Alternativen. Die Nachfrage aus KI-Rechenzentren setzt den Speichermarkt unter Druck. Ein Rechner mit leistungsfähiger Consumer-Grafikkarte bleibt eine Möglichkeit. Daneben kommen beispielsweise diese beiden Varianten infrage:

• Mac mini oder Mac Studio mit ausreichend gemeinsamem Speicher. Prozessor und Grafikeinheit nutzen denselben Speicher. Geeignet ausgestattete Varianten bieten damit eine Alternative zum Rechner mit separater Grafikkarte.
• AMD-basierte Rechner wie der Framework Desktop. Eine integrierte Grafikeinheit kann hier ebenfalls auf einen großen gemeinsamen Speicher zugreifen und für lokale Sprachmodelle genutzt werden.

Welche Ausstattung passt, hängt von der Aufgabe, der gewünschten Geschwindigkeit und den gleichzeitigen Nutzern ab. Ein einzelner Mitarbeiter mit gelegentlichen Anfragen hat andere Anforderungen als ein Service-Team, das bei jedem Anruf eine Zusammenfassung braucht. Mit einem Prototyp lässt sich der tatsächliche Bedarf vor der Anschaffung prüfen.

Ihre Daten. Ihr Betrieb. Ihre Entscheidung.

Sie bestimmen, wo die KI arbeitet und wie sie mit Ihrem Unternehmen verbunden ist.

Für den eigenen Betrieb kommen sogenannte Open-Weight-Modelle infrage. Ihre trainierten Modellwerte sind verfügbar, sodass sie auf eigener oder angemieteter Hardware ausgeführt werden können. Die jeweilige Lizenz regelt die erlaubte Nutzung. Für viele betriebliche Aufgaben lässt sich damit eine passende Anwendung aufbauen; die Qualität wird anhand der tatsächlichen Arbeit geprüft.

Bei einem vollständig internen Aufbau bleiben Modell, Dokumentensuche und weitere Verarbeitung im Unternehmensnetz. Auch angebundene Werkzeuge und zusätzliche Dienste müssen dafür intern arbeiten. So können vertrauliche Anfragen, Kundendaten und Dokumente innerhalb Ihres Unternehmens verarbeitet werden.

Alternativ können Sie einen Server mit geeigneten Grafikkarten oder speziellen KI-Beschleunigern im Rechenzentrum anmieten. Das ermöglicht den eigenen Modellbetrieb ohne eigene Hardwareanschaffung. Die Verarbeitung findet dann außerhalb Ihres Unternehmensnetzes statt. Standort, mögliche Anbieterzugriffe und vertragliche Bedingungen sind deshalb Teil der Auswahl.

Auch Dienste von OpenAI, Google mit Gemini, Anthropic mit Claude oder Microsoft mit Copilot können für betriebliche Anwendungen genutzt werden. Bei dieser Variante entscheiden das konkrete Produkt und dessen Bedingungen darüber, wie Daten verarbeitet werden.

Der Mehrwert des eigenen oder dediziert angemieteten Modells ist die Gestaltung des Betriebs. Sie wählen das Modell, verbinden es mit Ihren Systemen und legen die Datenflüsse fest. Ihre Kostenplanung richtet sich nach Ausstattung oder Miete, Auslastung, Einrichtung und Wartung. Ob das günstiger ist als ein externer Dienst, hängt von Ihrer Nutzung ab.

Die Datenschutzfragen zur Anbieterwahl vertiefen wir im Beitrag „Datenschutz und KI: Worauf Unternehmen achten sollten“.

Ein sinnvoller Einstieg ist eine konkrete Aufgabe aus Ihrem Alltag: Kundenverläufe beim Anruf zusammenfassen, interne Regeln im richtigen Moment bereitstellen oder eingehende Nachrichten vorsortieren. Daran lässt sich beurteilen, ob die Anwendung zuverlässig arbeitet und Ihren Mitarbeitern tatsächlich Arbeit abnimmt.