# IM.Umbraco.AI.Local: lokalne modele LLM dla Umbraco AI \| Idea Makers Canonical URL: Dostawca lokalnych modeli LLM dla Umbraco AI. Prompty, Copilot, agenty i embeddingi na Ollamie, LM Studio, vLLM lub LiteLLM na Twoim serwerze. IM.Umbraco.AI.Local · Umbraco 17 # Lokalne AI w backoffice Umbraco Dostawca lokalnych modeli LLM dla Umbraco AI. Prompty, agenty, Copilot i embeddingi działają na modelu na Twoim serwerze, bez konta w chmurze. [Pobierz z NuGet](https://www.nuget.org/packages/IM.Umbraco.AI.Local) [Umbraco Marketplace](https://marketplace.umbraco.com/) Pakiet **Instalacja:** dotnet add package IM.Umbraco.AI.Local **Wersja:** 17.1.3 **Umbraco:** 17.8+ · Umbraco AI 17.6.1+ **.NET:** 10 Na tej stronie - [Zastosowania](https://ideamakers.pl/nuget/im-umbraco-ai-local/#use-cases) - Serwery - Tło - Pierwsze kroki - W praktyce - Wsparcie Zastosowania ## Co możesz zrobić z lokalnym modelem ### Opisy meta i streszczenia Prompt czyta stronę i proponuje opis SEO albo krótkie streszczenie. Redaktor wybiera, poprawia i zapisuje. Nic nie trafia na stronę bez człowieka. ### Przeredagowanie i tłumaczenie szkiców Skróć akapit, zmień ton albo przygotuj pierwszą wersję tłumaczenia do sprawdzenia przez redaktora, tuż obok pola. ### Copilot dla redaktorów Redaktorzy pytają o swoje treści w backoffice i dostają odpowiedzi od modelu na Twoim serwerze. ### Agenty z narzędziami backoffice Agenty wywołują narzędzia, żeby znaleźć i przygotować treści. Wywołania narzędzi działają z Ollamą, bo pakiet przepisuje ich schematy. ### Wyszukiwanie po znaczeniu Embeddingi z własnego modelu mogą zasilać wyszukiwanie semantyczne i listy powiązanych treści. Samo wyszukiwanie budujesz w swojej stronie. ### Treści, które muszą zostać u Ciebie Intranety, strefy członkowskie i sektory regulowane: prompty i treści stron nigdy nie opuszczają Twojej infrastruktury. Działa z ## Każdym serwerem zgodnym z OpenAI, który uruchamiasz 01 ### Ollama Prosta lokalna instalacja otwartych modeli. Dobry start na jednej maszynie. [Ollama](https://ollama.com/) 02 ### LM Studio Aplikacja desktopowa z lokalnym serwerem API, wygodna do testowania modeli. [LM Studio](https://lmstudio.ai/) 03 ### vLLM Wydajne serwowanie modeli na własnych GPU. [vLLM](https://docs.vllm.ai/) 04 ### LiteLLM Brama przed wieloma modelami, z własnymi kluczami. Tak jest podłączona ideamakers.pl. [LiteLLM](https://docs.litellm.ai/) Tło ## Usługi AI w chmurze i serwery lokalne działają inaczej Obydwa rodzaje mówią tym samym API zgodnym z OpenAI, ale nie zachowują się tak samo. To ogólne wyjaśnienie, jak działają obydwa rodzaje usług, a nie opis jednej konkretnej strony. ### Usługa AI w chmurze OpenAI, Anthropic, Google i podobne. Pod nie są napisani wbudowani dostawcy w Umbraco AI. - Dostęp wymaga klucza API dostawcy, sprawdzanego przez dostawcę - Stała lista własnych modeli dostawcy - Przyjmuje restrykcyjne schematy narzędzi i kilka wiadomości systemowych w jednym żądaniu ### Serwer, który uruchamiasz Ollama, LM Studio, vLLM albo brama taka jak LiteLLM, na Twoim sprzęcie lub w Twojej sieci. - Często wystarczy adres serwera, klucz jest opcjonalny - Udostępnia modele, które masz załadowane - Wiele szablonów czatu odrzuca restrykcyjne schematy narzędzi albo więcej niż jedną wiadomość systemową Co dostosowuje IM.Umbraco.AI.Local - Łączy się samym adresem URL, a klucz API jest opcjonalny\. - Pokazuje każdy model zwrócony przez serwer, do czatu i embeddingów\. - Przepisuje schematy wywołań narzędzi na postać akceptowaną przez serwery lokalne\. - Scala wiadomości systemowe w jedną, na początku rozmowy\. Pierwsze kroki ## Instalacja, połączenie, użycie 01 ### Instalacja - Dodaj pakiet NuGet do strony na Umbraco 17\. - Umbraco samo znajdzie dostawcę\. - Bez zmian w Program\.cs\. 02 ### Połączenie - W sekcji AI dodaj połączenie Local LLM\. - Wpisz adres serwera, np\. http://localhost:11434/v1 dla Ollamy\. - Dodaj klucz API, jeśli serwer go wymaga\. 03 ### Użycie - Utwórz profile dla czatu i embeddingów\. - Dodaj prompty do pól, z których korzystają redaktorzy\. - Włącz Copilota albo agenty, gdy będziesz gotowy\. ``` dotnet add package IM.Umbraco.AI.Local ``` W praktyce ## Na naszej stronie 01 · Prompt w polu opisu SEO ### Opis meta SEO Prompt czyta stronę i proponuje trzy opisy o długości od 140 do 155 znaków, w języku strony. Redaktor wybiera jeden, w razie potrzeby poprawia i zapisuje. Okno backoffice Umbraco „SEO meta description” z trzema angielskimi propozycjami dla strony Kontakt 02 · Prompt w polach zajawki i opisu ### Streszczenie strony Dwa krótkie streszczenia do list, zajawek i leadów, napisane przez ten sam lokalny model na podstawie treści strony. Okno backoffice Umbraco „Page summary” z dwoma streszczeniami strony pakietu IM.Umbraco.AI.Local Zrzuty ekranu z backoffice ideamakers.pl na Umbraco 17.8. Obydwa prompty działają na modelu Qwen na naszym serwerze, podłączonym przez IM.Umbraco.AI.Local. Wsparcie ## Pytania, błędy i pomysły Na GitHubie - [Zgłoszenia: błędy i propozycje funkcji](https://github.com/Idea-Makers/im-umbraco-ai-local/issues) - [Dyskusje: pytania i pomoc w konfiguracji](https://github.com/Idea-Makers/im-umbraco-ai-local/discussions) - [Informacje o każdym wydaniu](https://github.com/Idea-Makers/im-umbraco-ai-local/releases) - [README: pełna dokumentacja](https://github.com/Idea-Makers/im-umbraco-ai-local) ## Chcesz AI w backoffice, na własnym serwerze? Razem z Twoim zespołem skonfigurujemy serwer modeli, połączenie i prompty. Nie potrzebujesz gotowej specyfikacji. - Umbraco 17 - Umbraco AI [Porozmawiajmy](https://ideamakers.pl/kontakt.md) [Wszystkie pakiety NuGet](https://ideamakers.pl/nuget.md) im-umbraco-ai-local