NAS折腾
未读
在飞牛上部署本地大模型
本文详细介绍了Ollama、Dify、ComfyUI和AstrBot四款工具的安装与配置方法。Ollama提供Linux本地安装和Docker两种方式，需注意网络配置及远程访问设置；Dify通过Docker Compose部署，支持复用现有容器优化性能；ComfyUI可选用预置Docker镜像或源码部署，包含Miniconda环境配置及开机自启动方案；AstrBot则通过虚拟环境安装，附带语音转文字（Whisper/SenseVoice）及文字转语音（edge-tts）服务配置。各工具均涉及环境变量设置、端口调整、依赖安装等关键步骤，并提供常见问题解决方案，如模型上下文长度扩展、插件安装失败处理等，强调网络配置对部署稳定性的影响。
NAS折腾
未读
酷睿 Ultra 平台部署本地 AI
本文介绍了本地部署大语言模型（如deepseek-r1）的完整流程，包括使用Ollama平台、Open-WebUI对话界面及Intel ipex-llm加速模块的安装配置。通过Miniconda管理Python环境，提供环境创建、包管理、换源等操作指南。重点说明了在Intel GPU上利用ipex-llm加速Ollama推理的方法，并尝试在NPU上部署失败的问题。同时探讨了OpenVINO在NPU上运行LLM的复杂性及文档缺陷，最后介绍了自建搜索引擎SearxNG和商业级UI框架Dify的部署方案，涵盖Docker配置、模型集成及与Ollama的联动设置。内容覆盖从环境搭建到实际应用的全链路技术实践。