不久前，Lattice在上海研发中心大楼举办新闻发布会，首席运营官Glen Hawk先生介绍了为时下热门领域——智能音箱、VR/AR装置及AI等做的创新方案及规划。

                     关注网络边缘的控制、互联和计算

物联网或网络边缘是Lattice的关注重点。该公司可编程产品的特点是中小型、低功耗、低成本。经过三十多年的发展，作为老牌FPGA厂商，Lattice不像其他FPGA大厂一样弄潮高大上的通信、数据中心和云端计算等，而是另辟蹊径，服务消费电子云集的网络边缘产品。

如图1，Lattice过去在控制、互联市场业绩很好，计算是新的潜力领域，希望2022年成为该公司业务的第三大支柱。

图1 Lattice在2022年的业务预期

  实际上，Lattice在过去30年里，主要是在控制领域，营收每年稳定在2亿美元左右。大约从2006-2010年开始，互联、传感上的应用增多。2010年之后，Lattice陆续收购了两家公司——SiliconBlue和Silicon Image，以拓展连接和计算业务。这几年，用Lattice产品做计算处理的案例渐渐涌现，因为物联网/网络边缘需要微计算与处理的需求增加。

     例如Lattice收购SiliconBlue后，SiliconBlue的iCE40让Lattice可以进入到手机等移动装置上，诸如三星的旗舰机和苹果iPhone7上。iCE40也用于智能音箱及HTC的VR装置——VIVE。ICE40在智能音箱上可以让多个麦克风/麦克风阵列接到主芯片，以达到“原厂语音控制”，有Amazon Dot、中国叮咚音箱一代和二代、小雅音箱等。Lattice还与TPCast（北京传送科技公司）合作了无线VR连接装置，采用了Lattice的全部三大类产品（控制、互联和计算），其中FPGA是iCE和ECP3，无线是WiHD接收和发送模块，影像处理采用了Sil9396。

组合创新开辟新应用

物联网/网络边缘的创新，并不是有一款核心芯片就够了，很多时候更是把多种不同的产品聚合在一起做组合创新。例如TPCAST的无线VR装置，其中的“无线毫米波”技术是Silicon Image被lattice收购之前，Silicon Image曾收购的Sibeam公司的产品。其在毫米波方面花费了近十年、2.5亿美元的投资，才慢慢把“毫米波”技术及无线HDMI技术培养起来。

但无线VR不止要高速传输和低延迟，而且追踪能力要非常强大。当初Silicon Image/Sibeam团队并不认为这些无线技术可在VR上实现，因为无论是无线还是Sil9396影像处理芯片都有一些限制。但是Lattice上海FPGA团队通过深入客户，探究无线模组、影像处理器等的短板，与客户共同探讨如何用FPGA去弥补，最终出台了完整的无线方案。

可见，传统芯片厂商往往是提供芯片和开发板等。而Lattice会去主动了解市场，然后更早地去做出相关设计。例如上海团队会根据市场上的需求做参考设计，也会与大客户合作，提供客制化方案。例如，Lattice现在花很多心思在VR/AR上，所以在VR/AR市场的前瞻性、产业布局等方面，甚至比一些客户还了解。只有这样才能掌握先机，更早一步提供参考设计。

具体地，Lattice十分看好双摄像头合一产品，例如安卓之父安迪•.鲁宾创立的公司所做的Essential PH-1手机，特点是附送了一个360°无线全景相机。其中采用了Lattice的FPGA——Crosslink。因为Lattice早已预见到随着AR/VR对片源的需求，会出现360°全景摄影/摄像的需求。此外，无人机、AR/VR装置上未来都将会有这种摄像头二合一的360°相机。Lattice接下来还会看看四合一、五合一等的需求。

                           神经网络计算

      大部分神经网络模型用卷积神经网络（CNN）计算。CNN计算基本上是在云端上做大数据分析，相对复杂，是用16位元去代表结果的几率与强度。随着网络模型的优化，人们发觉其实不需要那么复杂，可以8位元、4位元甚至到1位元这样的二值神经网络（BNN）。BNN优化包括了二值或者三值的神经网络，对于Lattice小而巧的FPGA非常合适。

图2所示为部分算法与功耗的比较，可见面部侦测、语音识别、车牌识别和故障侦测比较适合低功耗、低成本的小型FPGA，“碰撞规避”则比较合适在更大型的FPGA等算法芯片。

图2 部分算法的功耗与成本比较表（数据来源：Lattice等公司）

  根据多方研究报告，在网络边缘/物联网上的处理需求通常是在10~1000 BOPS运算能力，可是功耗必须要低于1W，这是Lattice有优势的地方(如图3)。当然，也有可能有企业去开一个IC，采用ASIC的方式，的确性能/功耗比更理想。但是IoT（物联网）上的应用非常宽泛，要开一颗IC去符合物联网的多元化是有一定难度的。

图2 Lattice的FPGA与其他器件的定位比较

       例如Lattice iCE40 UltraPlus可以运行二值神经网络算法，用于人脸侦测，功耗只有5mW，该芯片只有2mm×2mm，和几粒盐差不多大。Lattice比较复杂的FPGA——ECP5，可以做到人脸跟踪及不同物品的识别，相比同类方案，价格低了一个数量级，功耗也低了一个数量级以上。

        当然不一定用神经网络算法，可以用视觉的方式去做很多运算。包括：360°环绕视野。Lattice在上海有一客户Microsharp，不仅做到车牌侦测，还可以做到车牌检测。

                             精彩问答

问：Lattice FPGA低功耗、低成本、小尺寸，在物联网边缘看来已是无敌了？

答：Lattice关注的低功耗是always on（永远在线）,特点是要一直追踪的，例如智能音箱一直要听是否有人讲话，VR设备与动作的交互等场景。如果有需要休眠的场景，例如搜集心跳，1秒钟收集两三次就足够了，这更适合MCU的低功耗模式。

问：图像处理方面，会不会出现FPGA会代替GPU？

答：VR分为两部分，一部分是追踪、另一部分是成像。成像基于图像，GPU在图像是有优势的。可是在追踪方面，例如双目追踪、识别情况下，FPGA有很大的优势。例如联想的新头盔——Mirage AR，特点是头盔上插一个手机进去，就可以玩游戏。Mirage AR上面的双目追踪，不只是连接，它的算法主要是用Lattice FPGA做出来的。假如是GPU，价格贵且功耗高。至于性能，FPGA也是有优势，因为Lattice FPGA可以简化要追踪什么来去做可视化。

       所以GPU功耗达十几到上百瓦数量级，比较适合在PC上。至于一体机上的VR或嵌入式VR，主要靠手机芯片做绘图。

问： 为何Lattice的FPGA在BNN上更有优势？ 

答：CNN和BNN主要区别是复杂度。CNN比较复杂，需要一个比较复杂的大脑来做。例如人脑。可是像虫的脑子不大，它还是可以很灵活地去控制。所以这还是要看需求。

        而且网络的模型优化也在持续，很多时候BNN可以做到本来传统CNN要做的事情。因为其实神经网络已经研发很久了，只是神经网络的算法需要用大数据去做训练。直到近几年大数据比较充足时，人们才去更完善神经网络的算法。借由谷歌等很多开源的数据量，Lattice也可以去做更多的开发。以前可能你要做人脸识别，要看有没有眉毛、鼻子、嘴巴等，你还要去做这类算法。神经网络的算法是你给它看一百万张不同的人脸让它学习，它就知道“这是人脸”。这也是最近这几年才有的所谓的开源资料库/图片库，可以去做训练。但是也就是因为有这些资料库，人们才发觉其实也不必用CNN这么复杂的神经网络，BNN、TNN可能就够了。所以这还是在不停地进化、优化的。

       其实“眉毛、鼻子”等都是特征点，以前都是用“特征点”去比对的。现在神经网络是关于学习，有一个模型，你给它一些资料，它去学，它自己会去优化，然后知道怎么去识别，这的确也还在演进。所以这就是不同技术的积累。例如车牌识别，客户刚开始只是说“我需要知道这有一个车牌”，之后我把数字剪下来放到云端去分析。可是后来发现，其实有神经网络的侦测方法，直接就可把这个数字截取下来，甚至还可以去侦测识别车型的大小、颜色等，因此放到云端的资料量相对就简化、小很多。

问：Lattice为何有计划选择FD-SOI工艺？

答：FD-SOI的低功耗特性非常好。目有多个晶圆厂支持FD-SOI，Lattice已确定与Samsung在2018年6月进行合作生产，会是新的产品系列。

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。