KI, die dein Haus nicht verlässt.
Personaldaten, Kalkulationen, Kundenakten: Manches gehört nicht in eine Cloud. Mit lokalen Sprachmodellen läuft die KI auf einem Server bei dir, und webx cortex sorgt dafür, dass sensible Anfragen gar nicht erst nach außen gehen.
- Modelle auf deinem Server
- Datenschutzstufe je Assistent
- Kein Training mit deinen Daten
- Cloud nur, wo du es erlaubst
Wohin eine Anfrage geht
So lokal, wie deine Daten es verlangen.
Nicht jede Aufgabe braucht dieselbe Vorsicht. webx cortex trennt pro Aufgabe, welches Modell arbeiten darf.
Cloud (EU)
Leistungsstarke Cloud-Modelle über EU-Endpunkte mit Auftragsverarbeitungsvertrag, für unkritische Aufgaben wie Texte und Übersetzungen. Personendaten werden vorher maskiert.
Hybrid nach Regeln
Jeder Assistent bekommt eine Datenschutzstufe. Bei „nur lokal“ gehen Anfragen ausschließlich an lokale Modelle, alle anderen dürfen die Cloud nutzen.
Ganz lokal
Sprachmodell, Wissensdatenbank und Suche laufen auf einem Server bei dir im Haus. Deine Daten verlassen dein Netz nicht.
Was lokale Modelle können, und was nicht.
Gut geeignet
Zusammenfassen, Einordnen, Fragen zu deinen Dokumenten beantworten, Daten aus Texten herausziehen, Entwürfe schreiben. Für viele Alltagsaufgaben reicht ein lokales Modell aus.
Eher Cloud
Lange, verschachtelte Analysen und anspruchsvolle Texte gelingen großen Cloud-Modellen meist besser. Darum trennt der LLM-Router je Aufgabe: lokal, wo es um sensible Daten geht, Cloud, wo es um Leistung geht.
Was du dafür brauchst.
Für die Suche
Das Erfassen und Durchsuchen deiner Dokumente (Embeddings) läuft auf einem normalen Server ohne Grafikkarte.
Für das Sprachmodell
Ein lokales Sprachmodell antwortet erst mit einer passenden Grafikkarte in brauchbarer Geschwindigkeit. Welche Größe passt, rechnen wir im Workshop mit deinen Anwendungsfällen durch, bevor du etwas kaufst.
Dieselben Sicherheitsstufen, egal wo das Modell läuft.
PII-Scrubber
Namen, Mail-Adressen und Telefonnummern werden vor jedem Modellaufruf erkannt und maskiert.
Prompt-Injection-Schutz
Ein- und Ausgaben werden gefiltert, damit präparierte Dokumente oder Mails der KI keine falschen Anweisungen geben.
Protokoll
Jeder Modellaufruf wird protokolliert, inklusive der Frage, welches Modell geantwortet hat.
Mehr aus webx cortex.
KI-Förderung Tirol
Datensouveränität und KI-Integration sind förderbar, der Antrag muss vor Projektbeginn liegen.
Häufige Fragen
Was ist lokale KI?
Lokale KI bedeutet, dass das Sprachmodell nicht bei einem Cloud-Anbieter läuft, sondern auf einem Server in deinem eigenen Netz. Anfragen und Daten verlassen dein Haus dabei nicht. Eingesetzt werden frei verfügbare Open-Source-Modelle.
Ist ein lokales Modell so gut wie ChatGPT?
Nicht in allem. Große Cloud-Modelle sind bei komplexen Analysen und anspruchsvollen Texten meist stärker. Für Zusammenfassen, Einordnen und Fragen zu deinen Dokumenten reicht ein lokales Modell oft aus. webx cortex kann beides kombinieren: lokal für sensible Daten, Cloud für den Rest.
Brauchen wir eigene Hardware?
Für ganz lokalen Betrieb ja: einen Server mit passender Grafikkarte in deinem Haus oder Rechenzentrum. Die Größe hängt von den Anwendungsfällen ab, deshalb rechnen wir sie im Workshop durch, bevor du etwas kaufst. Hardware ist Kosten Dritter und wird im Angebot getrennt ausgewiesen.
Was passiert, wenn das lokale Modell ausfällt?
Assistenten mit der Stufe „nur lokal“ antworten dann nicht. Sie weichen bewusst nicht auf ein Cloud-Modell aus, damit sensible Daten auch im Störfall im Haus bleiben.
Welche Daten sollen bei dir bleiben?
Wir schauen uns an, welche Aufgaben lokal laufen müssen und welche die Cloud nutzen dürfen, und sagen dir, was das an Hardware bedeutet. Das Erstgespräch ist kostenlos.
oder per Mail an info@web-crossing.com · Zur KI-Übersicht