มกราคม: ผู้ช่วยในท้องถิ่นที่ให้ความสำคัญกับความเป็นส่วนตัวสำหรับการทำงาน LLM บนอุปกรณ์
Jan ซึ่งพัฒนาโดย Jan Team Handbook เป็นผู้ช่วยเดสก์ท็อปที่มุ่งเน้นความเป็นส่วนตัว ซึ่งทำงานด้วยโมเดลภาษาขนาดใหญ่บน Mac ของผู้ใช้เพื่อการโต้ตอบที่เป็นส่วนตัวและออฟไลน์ มันทำหน้าที่เป็นสภาพแวดล้อมการประมวลผลในท้องถิ่นที่มีเบราว์เซอร์โมเดลในตัวและการสนับสนุนการค้นเอกสาร รวมถึงความเข้ากันได้กับลูกค้าภายนอก แอปนี้มุ่งเป้าไปที่บุคคลที่ใส่ใจในความเป็นส่วนตัว นักวิจัย และนักพัฒนาที่ต้องการ AI ในสถานที่สำหรับการตั้งคำถามเอกสาร การร่าง การเขียนโค้ด และการทำงานทดลอง
เครื่องมือจัดการงานจริงอะไรบ้างสำหรับผู้ใช้?
แอปพลิเคชันสร้างผลลัพธ์ในการสนทนา, คำถามและคำตอบในเอกสาร, ความช่วยเหลือด้านโค้ด, และการสร้างเนื้อหาสั้นผ่านโมเดลโอเพนซอร์สที่เลือกได้ ชื่อโมเดลที่รองรับรวมถึง Llama 3, Mistral, Phi-3, และ DeepSeek, และส่วนติดต่อผู้ใช้แสดงตัวเลือกโมเดลจากศูนย์กลางที่สร้างไว้ในตัวเพื่อให้ผู้ใช้สามารถทดลองโมเดลหลายๆ ตัวสำหรับงานเฉพาะ งานทั่วไปประกอบด้วยการร่างข้อความ, การสรุปโน้ต, การดีบักโค้ด, และการค้นหาไฟล์ส่วนตัวเพื่อหาคำตอบ.
ผลลัพธ์ของมันเชื่อถือได้แค่ไหนสำหรับการทำงานจริง?
คุณภาพของผลลัพธ์ขึ้นอยู่กับโมเดลที่เลือกและความเฉพาะเจาะจงของคำสั่ง; โมเดลที่แตกต่างกันมุ่งเป้าไปที่การแลกเปลี่ยนที่แตกต่างกันระหว่างความกระชับและความถูกต้อง ข้อมูลที่สร้างขึ้นสะท้อนให้เห็นถึงข้อมูลการฝึกอบรมและพฤติกรรมของแต่ละโมเดล สำหรับการตัดสินใจที่มีความสำคัญสูงในด้านข้อเท็จจริง, กฎหมาย, หรือเทคนิค, ควรวางแผนที่จะตรวจสอบผลลัพธ์กับแหล่งข้อมูลอิสระและถือว่าคำตอบที่สร้างขึ้นเป็นจุดเริ่มต้นมากกว่าคำแถลงที่มีอำนาจ.
ต้องการข้อมูลนำเข้า รูปแบบ และฮาร์ดแวร์อะไรบ้าง?
แอปพลิเคชันรองรับแพ็กเกจโมเดลในรูปแบบโอเพนทั่วไปและดึงโมเดลจากศูนย์กลางโมเดลที่รวมอยู่ซึ่งเชื่อมโยงกับที่เก็บข้อมูลสาธารณะ มันรองรับเครื่องยนต์เช่นการทำงานที่เข้ากันได้กับ GGUF และเส้นทางการเร่งความเร็ว GPU รวมถึง Metal สำหรับ Apple M-series และ TensorRT สำหรับเร่งความเร็ว NVIDIA หลังจากการดาวน์โหลดเริ่มต้น, เครื่องมือทำงานได้โดยไม่ต้องเข้าถึงเครือข่าย, และบันทึกการสนทนาและเอกสารที่นำเข้าถูกเก็บไว้ในโฟลเดอร์ที่ผู้ใช้ควบคุม.
มันเข้ากับกระบวนการทำงานของนักพัฒนาและการวิจัยที่มีอยู่ได้ดีแค่ไหน?
ส่วนประกอบเซิร์ฟเวอร์ท้องถิ่นเสนอจุดสิ้นสุดที่เข้ากันได้กับ API ที่แอปพลิเคชันอื่นสามารถสอบถามได้, ดังนั้นเครื่องมือจึงสามารถทำหน้าที่เป็นแบ็กเอนด์ส่วนตัวสำหรับสคริปต์และบริการท้องถิ่น ส่วนขยายใช้โปรโตคอลบริบทโมเดลเพื่อเพิ่มงานเช่นการกระทำของเอเจนต์และการดำเนินการโค้ด, และใบอนุญาต AGPLv3 ทำให้ภายในของมันสามารถตรวจสอบได้ รายงานจากชุมชนเน้นการติดตั้งที่ง่ายกว่าระบบ LLM ท้องถิ่นหลายๆ ระบบ, แม้ว่าเจ้าหน้าที่จะจัดการการอัปเดตโมเดลและการตรวจสอบความเข้ากันได้.
ใครควรเลือกเครื่องมือนี้และคาดหวังอะไรต่อไป
Jan เป็นทางเลือกที่เหมาะสมสำหรับผู้คนและทีมที่ให้ความสำคัญกับการควบคุมข้อมูลที่ยอมรับการจัดการโมเดลแบบลงมือทำและการบำรุงรักษาความเข้ากันได้เป็นครั้งคราว คาดหวังว่าจะได้ทดสอบโมเดลและการรวมฮาร์ดแวร์เพื่อค้นหาจุดที่ยอมรับได้ระหว่างความเร็วและคุณภาพของผลลัพธ์; ตรวจสอบผลลัพธ์ที่สำคัญอย่างอิสระ แอปนี้เหมาะสำหรับนักวิจัยและวิศวกรที่ชอบ AI แบบติดตั้งในสถานที่และสามารถลงทุนเวลาในการเลือกโมเดลและการบำรุงรักษาได้
