德承工控机GP-3100与DeepSeek:在Windows体系下完结高效边际运算AI布置
2025年春节前夕,我国AI企业深度求索(DeepSeek)发布其开源AI模型DeepSeek-R1,性能对标OpenAI开发的GPT-o1正式版,一时之间各类相关的论题引爆国内外。除了能在手机上装置APP或在其官网线上体会之外,因为其模型开源,近期也有许多家科技巨子连续宣告接入DeepSeek,多款第三方的运用也如漫山遍野般出现。
当然,咱们也能够在工控机上进行私有化布置,推动边际运算的AI运用,一切数据都保存在本地,隐私更安全,也可防止因为官网拜访量大形成的卡顿及推迟问题,响应速度更快。紧接着让咱们来看看如安在本地进行布置吧!
Ollama是一款可在本地电脑布置大模型(LLM)的开源东西,支撑多种LLM,并供给跨渠道支撑,可经过指令行或API来运转模型,可用于文本生成、问答体系和代码生成等多个运用场景。
下载适配体系的软件,本篇以Windows 10体系为例,或可直接仿制链接下载:
3. 装置好之后,按Win+R键,输入cmd,翻开Windows体系的指令提示符
咱们能够正常的看到DeepSeek-R1供给很多个版别,版别越高装备需求也越高,可依照实践运用的状况来挑选对应的版别,收拾装备需求如下表供参阅
2. 本篇以装置1.5B版别为例,按Win+R键,输入cmd,翻开Windows体系的指令提示符,
如要装置7B版别,则指令最终的1.5b改为对应版别7b即可,其他版别以此类推
3. 接着会主动进行下载,1.5B版别的模型容量1.1GB,下载时刻较久需耐性等候
因为在指令提示符里边运用DeepSeek-R1仍是不行直观,咱们咱们能够装置UI可视化界面,在此选用的是Chatbox软件
完结布置,现在能够在本地运用可视化的DeepSeek-R1了,问问TA~你是谁
经过以上的教程,咱们在德承工控机GP-3100上完结了DeepSeek-R1 AI模型的私有化布置,机器搭载的RTX 4090显存24G,可装置到DeepSeek-R1-14B这个版别,若需求装置更高阶的DeepSeek-R1,则需求更高的显卡装备,GP-3100可搭载2张高性能显卡,充沛凸显了GPU运算电脑的优势,为AI运用供给了更多的可能性。
强固型嵌入式电脑品牌 – Cincoze德承,努力供给多元且靠近商场需求的嵌入式电脑解决方案。旗下产品线包含强固型嵌入式电脑、工业平板电脑、工业显示器及强固型GPU电脑,能快速满意笔直商场的运用需求,特别以工厂主动化、机械主动化、机器视觉、AIoT、机器人、无人车、自驾车、智能交通、智能仓储物流为最。多年来推出多款立异性的产品,荣获多项专利、奖项与世界认证的必定。
2025年春节前夕,我国AI企业深度求索(DeepSeek)发布其开源A