NAS折腾
未读
在飞牛上部署本地大模型
本文详细介绍了Ollama、Dify、ComfyUI和AstrBot四款工具的安装与配置方法。Ollama提供Linux本地安装和Docker两种方式，需注意网络配置及远程访问设置；Dify通过Docker Compose部署，支持复用现有容器优化性能；ComfyUI可选用预置Docker镜像或源码部署，包含Miniconda环境配置及开机自启动方案；AstrBot则通过虚拟环境安装，附带语音转文字（Whisper/SenseVoice）及文字转语音（edge-tts）服务配置。各工具均涉及环境变量设置、端口调整、依赖安装等关键步骤，并提供常见问题解决方案，如模型上下文长度扩展、插件安装失败处理等，强调网络配置对部署稳定性的影响。
NAS折腾
未读
飞牛上的 NVIDIA 独显设置
本文介绍了在Linux系统中实现独显与核显共存的BIOS设置方法，包括调整首选显卡为核显并启用集成显卡。随后详细说明了NVIDIA驱动的安装流程，涵盖飞牛应用商店安装、手动run文件安装及依赖问题处理方案。重点讲解了NVIDIA Container Toolkit的安装配置步骤，包括仓库配置、Docker集成及验证方法。最后提供持续模式（Persistence Mode）的开启与关闭指南，通过systemd服务配置实现显卡驱动持久化运行，确保高性能计算场景下的稳定性。内容覆盖驱动管理、容器支持及系统优化的核心操作，适用于深度定制显卡环境的用户。
NAS折腾
未读
酷睿 Ultra 平台部署本地 AI
本文介绍了本地部署大语言模型（如deepseek-r1）的完整流程，包括使用Ollama平台、Open-WebUI对话界面及Intel ipex-llm加速模块的安装配置。通过Miniconda管理Python环境，提供环境创建、包管理、换源等操作指南。重点说明了在Intel GPU上利用ipex-llm加速Ollama推理的方法，并尝试在NPU上部署失败的问题。同时探讨了OpenVINO在NPU上运行LLM的复杂性及文档缺陷，最后介绍了自建搜索引擎SearxNG和商业级UI框架Dify的部署方案，涵盖Docker配置、模型集成及与Ollama的联动设置。内容覆盖从环境搭建到实际应用的全链路技术实践。