——i.MX RT600跨界处理器与LPC5500 MCU满足边缘AI和安全需要

照片：恩智浦半导体微控制器事业部全球产品总监曾劲涛先生和系统工程总监王朋朋女士
       近日，恩智浦半导体在京举办了新闻发布会，公司微控制器事业部全球产品总监曾劲涛先生和系统工程总监王朋朋女士介绍了边缘AI、机器学习的战略，及恩智浦刚刚发布的eIQ环境、i.MX RT600跨界处理器和LPC5500 MCU（微控制器）。

        机器学习将推动MCU下一波动快速增长
        IoT推动了这几年MCU的更新换代，而下一波MCU的助推器是终端的机器学习，包括家庭环境、声音处理、手势控制、智能感测&控制、多摄像头观察、个人资产、主动目标识别、AR（增强现实）等。

        典型的案例之一是目前发展火热的人机界面的声音处理，会推动下一波白电等家电应用的需求。例如在2018年10月的ArmTechCon2018大会上，恩智浦展示了声控洗衣机，可以对洗衣机说：“打开洗衣机”。洗衣机会问：“你要怎么样洗？”可以回答：“我要标准洗”或“强力洗”。也可以告诉洗衣机洗什么样的衣物，例如“洗被子”，或用什么方式洗，例如“热水洗”、“冷水洗”等，洗衣机就自动设置好了。
        再例如图形的识别，恩智浦在美国的一个DEMO（演示）是交通指示标识识别，机器能够识别红绿灯、是路还是人，假设指示标识斜着、模糊一点，机器都可以辨认出来。

        边缘AI的芯片布局
        恩智浦有全套的MCU、MPU产品线，从低端的MCU一直到高端的四核、八核高端处理器，所有这些芯片都可以用在机器学习、边缘计算上。
        客户可以在云端进行训练，通过软件的推理，在终端的处理器上进行应用（如下图）。

        机器学习开发环境eIQ
        恩智浦主推的AI开发环境是eIQ，是机器学习（ML）的开发环境。如下图，底端的硬件平台有传统的MCU和MPU，诸如Kinetis、LPC等Cortex-M核的MCU产品，还有新的i.MX RT系列跨界处理器，高端的i.MX6、7、8等处理器，还有Layerscape处理器。

        硬件平台里，运算的部分是核和硬件加速器，有Cortex-R、M和A核，GPU、DSP中放的是DSP核，未来一两年内，恩智浦还将开发ML（机器学习）的加速硬件，这不同于大型的云端硬件加速，而是可以跨平台、跨处理器和微控制器的用于终端计算的ML加速器。
        在芯片之上是硬件抽象层，诸如OpenCL，OpenVX，Arm自己的计算库/ CMSIS-NN，还有恩智浦自己的API。
        再往上是推理机（Inference Engine），有很多种，主推的有Google的TensorFlow、TF Lite等。实际上，恩智浦支持所有开发环境。现在还有新的NN Compiler（编译器），例如Facebook的GLOW等。
        在基于所有的机器学习软件硬件结合之后，恩智浦推出了全套的解决方案，包括视频、音频及机械传感器的解决方案（例如压力、加速度传感器的解决方案）。同时针对各种应用，推出了应用上的解决方案，例如ISP（图像信号处理）、图像加速、传感器融合、全景环视（注：过去通常是车上用，现在家居方面也有很多应用），还有前端的声音的控制，诸如多扬声器。
        在扬声器方面，如果是两个扬声器，用比较简单便宜的MCU就足够了，例如LPC和Kinetis系列；如果更多扬声器，由于数据处理量大，适合用i.MX RT跨界处理器平台，或i.MX 7、8、8M等高端处理器。
        可见根据不同的应用，恩智浦有不同的处理器配合，这是eIQ的概念。恩智浦的目标是让外界主流的推理机都能运行在恩智浦的硬件上。
        为此，恩智浦也有全套的芯片。如下图，越往右，处理器的性能越高，推理时间越短，例如最右端的i.MX用的是GPU、DSP，未来一两年内，恩智浦还会推出ML加速硬件，是真正的专用加速器。

        新发布的RT600和LPC5500有何特点？
        传统意义上，处理器/MCU性能越好成本越高。恩智浦这几年力图把高性能低端化。为此，2018年10月推出了两款与机器学习相关的产品——RT600和LPC5500。
        *RT600。据悉，i.MX RT600跨界平台是面向实时机器学习/人工智能应用的能效优化Cortex-M33/DSP MCU，采用最高300MHz的Cortex-M33和600MHz的Cadence Tensilica HiFi 4 DSP，采用28nm FD-SOI技术，提供最多4.5MB的共享片上SRAM，可在超低功耗的边缘处理应用中提供高性能语音和音频，为DSP提供4个32位MAC、矢量浮点功能单元、256位宽访问数据总线，以及特殊激活函数（例如Sigmoid等传递函数）的DSP扩展。
        因此，RT600的亮点是业界第一次把高性能DSP放到微控制器的环境里，而且这不是一个简单的小DSP，是真正全功能的HiFi 4的DSP（如下图）。

         为何RT600中能加入强大的DSP功能？因为RT600中采用了M33。Arm在推出M33核时，做了一个特殊的地方，增加了一个多核接口，专门帮助MCU设计者和最终的用户能够利用协处理器来处理。

照片：RT600演示，可以同时实现5个人脸检测，每秒7帧

         *LPC5500。是恩智浦推出的第一款40纳米的内置闪存的MCU，里面没有加高性能DSP，而是加了一个PowerQuad DSP加速器，可以做机器学习的滤波、叠加等。里面还有加密引擎。功耗非常低。
        三大特点，第一是内置闪存的；第二，是第一款40nm带内置闪存的MCU；第三，是全球第一款双核M33产品，这样，可以用一个M33来做普通的界面接口，用于网络传输、数据传输等通讯；用另外一个M33来做各种各样的算法。

        确保安全的措施
        IoT（物联网）或机器学习都离不开安全。RT600和LPC5500把跨界处理器、MCU的安全性能再次提高，增加了很多新功能（如下图）。

        首先，硬件存储方面（注：这也是最基础的部分），恩智浦第一次推出PUF概念。具体地，安全就像家中最基本的保护——钥匙一样，摄像头、防火墙等最基本的安全保障就是钥匙。对于MCU也一样，所有的功能，诸如加密、信息传输、软件等的加密都需要钥匙把它锁住。相对于传统钥匙需要写在芯片里，恩智浦第一次推出PUF概念。
        PUF的原理是有一个RAM，当它上电之后，是有很多不确定性的，有一个算法，把这个不确定性作为其钥匙，每一个芯片有自己独特的不确定性，好处是当这个任务关掉以后，这个钥匙就不存在了；当再次上电时，这个钥匙才产生出来。
        PUF是恩智浦现在主推的产生钥匙的一种方式。有了钥匙，才有真正的加密的根、信任根，有这个钥匙才能打开里面所有的东西。因此，先把钥匙管好很重要。
        其次，上面有各种各样的加密，硬件加密，AES，OTFAD，是给外面Flash加密和解密的技术。
        再有，M33核方面，Arm推M33的最大的理由是可提供一个TrustZone加密环境。TrustZone的概念是在一个加密环境里执行指令。此外，M33在性能上比以前的M4提高了，可以简单地认为M33是M4的提高版，性能提高了20%、30%。鉴于M33的诸多优势，恩智浦今后的MCU里不会再嵌入M4核，取而代之的是M33核。
        最后，最上层是Firmware（固件）的加密，保障安全启动，有安全调试。以往调试是安全当中的一个弱项，以前都有一个“后门”，很多都是从调试的门进去，现在可以用加密调试。
        小结
        物联网终端产品正具备更多的AI，为此，恩智浦推出了eIQ开发环境，并在新产品中赋予了更多机器学习和安全性，例如i.MX RT600和LPC5500都增加了DSP语音识别能力，分别面向中端和低端边缘AI应用。

照片：RT600和LPC5500的演示