IM.Umbraco.AI.Local · Umbraco 17
Lokalne AI w backoffice Umbraco
Dostawca lokalnych modeli LLM dla Umbraco AI. Prompty, agenty, Copilot i embeddingi działają na modelu na Twoim serwerze, bez konta w chmurze.
Zastosowania
Co możesz zrobić z lokalnym modelem
01 Opisy meta i streszczenia
Prompt czyta stronę i proponuje opis SEO albo krótkie streszczenie. Redaktor wybiera, poprawia i zapisuje. Nic nie trafia na stronę bez człowieka.
02 Przeredagowanie i tłumaczenie szkiców
Skróć akapit, zmień ton albo przygotuj pierwszą wersję tłumaczenia do sprawdzenia przez redaktora, tuż obok pola.
03 Copilot dla redaktorów
Redaktorzy pytają o swoje treści w backoffice i dostają odpowiedzi od modelu na Twoim serwerze.
04 Agenty z narzędziami backoffice
Agenty wywołują narzędzia, żeby znaleźć i przygotować treści. Wywołania narzędzi działają z Ollamą, bo pakiet przepisuje ich schematy.
05 Wyszukiwanie po znaczeniu
Embeddingi z własnego modelu mogą zasilać wyszukiwanie semantyczne i listy powiązanych treści. Samo wyszukiwanie budujesz w swojej stronie.
06 Treści, które muszą zostać u Ciebie
Intranety, strefy członkowskie i sektory regulowane: prompty i treści stron nigdy nie opuszczają Twojej infrastruktury.
Każdym serwerem zgodnym z OpenAI, który uruchamiasz
Usługi AI w chmurze i serwery lokalne działają inaczej
Obydwa rodzaje mówią tym samym API zgodnym z OpenAI, ale nie zachowują się tak samo. To ogólne wyjaśnienie, jak działają obydwa rodzaje usług, a nie opis jednej konkretnej strony.
01
Usługa AI w chmurze
OpenAI, Anthropic, Google i podobne. Pod nie są napisani wbudowani dostawcy w Umbraco AI.
- Dostęp wymaga klucza API dostawcy, sprawdzanego przez dostawcę
- Stała lista własnych modeli dostawcy
- Przyjmuje restrykcyjne schematy narzędzi i kilka wiadomości systemowych w jednym żądaniu
02
Serwer, który uruchamiasz
Ollama, LM Studio, vLLM albo brama taka jak LiteLLM, na Twoim sprzęcie lub w Twojej sieci.
- Często wystarczy adres serwera, klucz jest opcjonalny
- Udostępnia modele, które masz załadowane
- Wiele szablonów czatu odrzuca restrykcyjne schematy narzędzi albo więcej niż jedną wiadomość systemową
Co dostosowuje IM.Umbraco.AI.Local
- Łączy się samym adresem URL, a klucz API jest opcjonalny.
- Pokazuje każdy model zwrócony przez serwer, do czatu i embeddingów.
- Przepisuje schematy wywołań narzędzi na postać akceptowaną przez serwery lokalne.
- Scala wiadomości systemowe w jedną, na początku rozmowy.
Instalacja, połączenie, użycie
Instalacja
- Dodaj pakiet NuGet do strony na Umbraco 17.
- Umbraco samo znajdzie dostawcę.
- Bez zmian w Program.cs.
Połączenie
- W sekcji AI dodaj połączenie Local LLM.
- Wpisz adres serwera, np. http://localhost:11434/v1 dla Ollamy.
- Dodaj klucz API, jeśli serwer go wymaga.
Użycie
- Utwórz profile dla czatu i embeddingów.
- Dodaj prompty do pól, z których korzystają redaktorzy.
- Włącz Copilota albo agenty, gdy będziesz gotowy.
dotnet add package IM.Umbraco.AI.LocalNa naszej stronie
01 · Prompt w polu opisu SEO
Opis meta SEO
Prompt czyta stronę i proponuje trzy opisy o długości od 140 do 155 znaków, w języku strony. Redaktor wybiera jeden, w razie potrzeby poprawia i zapisuje.
02 · Prompt w polach zajawki i opisu
Streszczenie strony
Dwa krótkie streszczenia do list, zajawek i leadów, napisane przez ten sam lokalny model na podstawie treści strony.
Zrzuty ekranu z backoffice ideamakers.pl na Umbraco 17.8. Obydwa prompty działają na modelu Qwen na naszym serwerze, podłączonym przez IM.Umbraco.AI.Local.
Pytania, błędy i pomysły
Chcesz AI w backoffice, na własnym serwerze?
Razem z Twoim zespołem skonfigurujemy serwer modeli, połączenie i prompty. Nie potrzebujesz gotowej specyfikacji.