Term / 术语
On-device AI
On-device Artificial Intelligence
简明解释
直接在手机、PC、嵌入式设备或其他终端本地执行 AI 推理的部署方式。
端侧 AI 不必把每次输入发送到云端，通常能降低网络延迟、减少持续联网依赖，并让敏感数据更多地留在本地。
它受设备的内存容量、存储空间、算力、功耗和散热约束。量化、模型裁剪、专用算子和受控上下文长度，都是常见的端侧优化手段。
别名
端侧 AI设备端 AI
相关术语
出现该术语的文章
AI / Hardware
Needle 2：面向微型设备的 14 MB Agentic LLM
Cactus 介绍其 45M 参数的端侧工具调用模型 Needle 2，包括量化架构、固定内存设计、设备性能、公开基准测试与本地微调结果。