人工智能（AI）正引领着计算方式的深刻变革。在设备边缘，这一转变尤为明显：为更高效地处理AI和机器学习（ML）任务，传统的SoC正在被重新定义。与此同时，新一代微处理器（MPU）和微控制器（MCU）应运而生，正逐渐成为边缘设备不可或缺的核心计算单元。
计算的发展与边缘化趋势
早期嵌入式系统的计算环境高度分散，各类定制操作系统和固件层出不穷。
过去十五年间，尤其在物联网（IoT）领域，Linux与FreeRTOS已逐步成为主流操作系统，固件也在通过UEFI（统一可扩展固件接口）、U-Boot等方案逐步标准化，同时得到GCC、CLANG/LLVM等开源编译工具链的广泛支持。
尽管软件层面逐渐统一，芯片架构仍保持高度多样化，不同IoT应用领域（如消费电子、工业自动化、汽车电子、医疗设备等）对性能和功能的要求各不相同。边缘计算最早出现在上世纪90年代末，当时内容分发网络（CDN）通过在不同地区的边缘服务器缓存网页内容来降低访问延迟。随着多接入边缘计算（MEC）的发展，这一理念进一步延伸，将计算和存储能力下沉到靠近用户的基站，实现让视频流、物联网设备和自动化系统等移动应用能够更快速地处理数据。
云服务提供商在推动边缘计算和混合计算落地方面发挥了关键作用，建立了完整的生态体系。如今，计算领域的新一轮变革无疑由人工智能的融合所驱动。
虽然AI的训练主要依赖于云端强大的GPU，但当前的重点正逐渐转向推理，即基于已训练模型进行的计算。随着这一趋势的发展，AI推理能力正不断向各层级的边缘计算延伸，并逐步靠近物联网设备端。
端侧AI工作负载面临的挑战
在物联网端侧部署AI会带来多重挑战。AI工作负载及其相关软件需要在高度异构、差异化的嵌入式系统架构上运行，这导致市场上出现较大混乱，缺乏明确的设计方案，也没有行之有效的最佳实践来指导AI功能的实现。
传统AI硬件的小型化版本（如精简型GPU）在资源受限的IoT系统上执行推理任务时，往往功耗过高且成本昂贵。这意味着目前尚无明确的加速器可以来处理边缘推理功能，也造成行业缺乏设计标准和统一的用户体验方案。
此外，许多芯片厂商主要面向更大、更同质化的市场，如汽车、工业和智能手机市场，通常只是将现有芯片用于IoT，而非设计专门平衡性能、功耗和成本的定制解决方案。加之硬件的碎片化，不同的边缘芯片架构通常还搭配各自定制的专有AI软件框架，这进一步加剧了整个AI子系统体验缺乏标准化的问题。
重构SoC：开启边缘AI芯片新时代
为应对这些挑战，市场需要从根本上重新思考如何构建可扩展、高性能的AI芯片，来满足物联网设备端的需求。Synaptics正在引领这一新兴类别的边缘AI芯片，其产品线旨在解决物联网设备长期存在的碎片化问题，并在不同功耗水平下赋予设备更强的智能能力。这一方法的核心在于创新的软硬件架构，为SoC产品线中的神经处理单元（NPU）子系统提供动力，在设计上兼顾可扩展性和对未来边缘AI的适应能力：
- Transformer加速：Transformer是大语言模型（LLMs）的核心技术，也是多模态AI交互（如自然语言处理）的关键。在支持传统卷积神经网络（CNN）的图像、视频和音频模型的同时，硬件对Transformer的加速支持已成为实现前沿模型不可或缺的能力。
- 紧耦合通用计算能力：基于标准核心的本地处理可高效运行新型或尚未被NPU支持的算子，无需将任务卸载到主CPU即可完成计算。这种低延迟、高性能的方式使客户能够延长芯片投资周期，应对快速变化的边缘AI处理模式。
- 分层存储：芯片内部的可灵活配置存储与外部系统存储相结合，可按需存放已编译的模型、指令和描述符、输入/输出数据，以及模型计算过程中产生的中间数据。
- 离线编译：编译器在运行前对模型进行分析与优化，提前“塑形”，实现更高效的执行效果。
新一代SoC产品线，以及全系列Synaptics Astra™ AI原生处理器，为边缘AI物联网工作负载提供卓越的性能功耗比，带来显著的竞争优势。
边缘AI软件碎片化问题与生态系统建设
尽管通用嵌入式软件（如Linux、FreeRTOS或Zephyr）已经取得了一定的标准化进展，但用于AI功能的软件栈仍大多缺乏统一标准，且与多样化的芯片架构相互独立。这对行业发展构成了显著障碍。但一些具备规模优势的公司（例如希望在多模态边缘处理领域建立广泛布局的云服务提供商）有能力通过制定标准和推动生态建设来应对这一挑战。
在AI软件技术栈中，一些组件，例如模型格式和运行时（TFLite（现称 LiteRT）、PyTorch、ONNX等）已经被更广泛接受并形成实践标准。但目前的边缘AI编译器大多以紧密绑定SoC的定制专有形式存在，这导致不同厂商的方案互不兼容，造成普遍的供应商锁定问题。
解决方案应通过业界主导的标准化行动来实现，由Google、Meta、AWS、阿里巴巴、百度等大型云服务商牵头，并与芯片厂商紧密合作，建设基于开源工具的平台。这类广泛合作对于构建开放、开发者友好且具规模效应的生态体系至关重要。
Synaptics和Google Research最近宣布的合作，就是为了解决NPU子系统设计和工具链的碎片化问题，并为IoT设备边缘的AI应用开发者提供更统一、更高效的开发体验。该合作不仅整合了可扩展的高性能NPU IP，还以IREE工具链为核心——一套基于MLIR核心框架的开源端到端编译与运行时系统。IREE支持在NPU、CPU和 GPU等多种硬件上加速推理，同时兼容TFLite、PyTorch和ONNX等主流机器学习框架。
面向边缘AI的整体解决方案
要真正解决物联网边缘AI的复杂挑战，需要一种整体化策略，将开源软件与创新的芯片架构相结合。这种集成策略可降低AI的使用门槛，让开发者、用户和客户能够在广阔的IoT生态中，直接在设备端充分释放人工智能的潜力。