研华边缘AI平台测试DeepSeek蒸馏版模型数据大公开!
随着Deepseek大模型的横空出世,预计对整个工业领域会产生颠覆性的影响力,尤其针对边缘部署部分独创动态剪枝与量化技术,DeepSeek大模型支持在边缘设备低功耗运行(最低适配5 TOPS算力硬件),推理速度能够提升3倍。 研华选择了多款基于英伟达技术的边缘AI产品,针对目前DeepSeek-R1 系列的不同蒸馏模型进行测试,下面让我们来看下最新测试数据! 微型边缘端推理应用 算力100 TOPS 推荐型号: 基于ARM平台AI Box:ICAM-540 /MIC-711 / MIC-713 支持DeepSeek-R1蒸馏模型版本: ☑ DeepSeek-R1-Distill-Qwen-1.5B ☑ DeepSeek-R1-Distill-Qwen-7B ☑ DeepSeek-R1-Distill-Llama-8B