Sir Thaddeus: Küçük modeller için yerel öncelikli Windows AI asistanı
Sir Thaddeus, RaydeStar tarafından geliştirilen, verileri cihazda tutmak için tasarlanmış yerel öncelikli bir AI asistanı ve Windows için bir çalışma alanıdır. Uygulama, sohbetleri yürütmek, yerel araçlara izinli erişim sağlamak ve oturumlar arasında kalıcı bellek sürdürmek için Yerel LLM arka uçlarını Model Bağlam Protokolü ile bağlar. Yerel konuşma metnine ve metin konuşmaya ve kanıta dayalı iskeleye dahildir. Çalışma alanı, hassas görevler için denetlenebilirlik ve incelenebilir cihaz içi işleme vurgusu yapar.
Yerel bir asistan ve izinli araç barındırıcı olarak işlev görür
Uygulama, sohbet tabanlı yardım, ses öncelikli bir arayüz ve oturumlar arasında bağlamı koruyan dayanıklı bir hafıza sağlar. Ollama veya LM Studio gibi yerel LLM arka uçlarına bağlanır ve asistanın yalnızca açık kullanıcı izni ile yerel araçlara erişebilmesi için bir MCP barındırıcı olarak hareket eder. Tipik sonuçlar arasında konuşma tabanlı problem çözme, senaryolu araç çağrıları ve harici API'ler üzerinden yönlendirme yapmadan sesle yönlendirilen etkileşimler yer alır.
Küçük modeller, orkestre edildiğinde daha kullanılabilir sonuçlar üretir
Uygulama, daha küçük dil modellerinin mütevazı donanımda çok adımlı görevleri daha güvenilir bir şekilde tamamlayabilmesi için istemleri ve araç çağrılarını yapılandırmak amacıyla kanıt odaklı iskele yaklaşımını uygular. Bu tasarım, yüksek performanslı GPU'lar yerine standart tüketici CPU'larını hedef alarak SLM'ler için pratik görev tamamlama sürecini iyileştirir. Yerel çıkarım ve iskele kombinasyonu, birçok günlük iş akışı için daha büyük uzak modellere bağımlılığı azaltır.
Yerel işleme, dışa maruziyeti azaltır ancak yerel hizmetler gerektirir
Yerel öncelikli mimari, çıkarım, sesli metin ve metinli sesin cihazda kalmasını sağlar, bu nedenle ses ve istemler temel işlemler için bulut API'lerine ihtiyaç duymaz. Kod tabanı Apache 2.0 lisansı altında mevcuttur, bu da uygulamanın denetlenebilir olmasını sağlar ve MCP izin modeli, asistanın yerel verilere veya araçlara erişmeden önce açık bir onay almasını zorunlu kılar. Kullanıcılar, tam işlevsellik için uyumlu bir yerel LLM sağlayıcısı veya MCP sunucusu yapılandırmalıdır.
Kabul, teknik kullanıcılar ve araştırmacılar için daha uygundur, acemiler için değil
Uygulama, yerel bir LLM uç noktası veya MCP uyumlu bir ortam gerektirdiğinden, Ollama, LM Studio veya OpenAI uyumlu uç noktaları barındırma konusunda aşinalık varsayar. Windows için Avalonia masaüstü UI ile .NET üzerinde inşa edilmiştir, bu da geliştirici dağıtımını basitleştirirken sıradan kullanıcılar için bir kurulum eğrisi oluşturur. Açık kaynak lisansı, iş akışını genişletmek veya denetlemek isteyenleri destekler.
Kurulum yatırımı kabul eden, uygulamalı, gizlilik odaklı uygulayıcılara en uygun
Uygulama, yerel uç noktaları ve izinleri yöneten kullanıcılara, denetlenebilir, cihazda çalışan işlemler ve küçük modeller için pratik iskele kazançları vererek ödüllendirir. Yüksek riskli kararlar için çıktıları otoriter olarak ele almak yerine, istemleri ve izinleri ayarlamak için zaman yatırmayı ve çıktıları manuel olarak doğrulamayı planlayın. Araştırmacılar ve geliştirici kullanıcılar için kontrol edilebilir bir çalışma alanı sağlar; sıradan kullanıcılar belirgin bir kurulum eğrisi beklemelidir.
