为促进将AI模型有效应用到嵌入式设备中，微型机器学习(TinyML)的研究逐渐活跃起来，并向开放源码方向发展。另外，以AI推理引擎为代表的开放源码软件和工具的开发也越来越多。嵌入的AI推理引擎允许开发人员在没有与服务器交互的情况下，在低延迟的嵌入式设备上运行机器学习模型。就国内而言，百度、腾讯、阿里、华为、OPENAILAB等互联网大佬和开发软件公司也相继推出了嵌入式或端边的AI推理引擎。