这场干货满满的技术工作坊,让开发者真正走近了NPU时代的边缘智能

2020-12-29 14:46:43 266

近十年来,深度学习领域的理论突破让人工智能迎来了新一轮的发展高潮, 开始在各行各业落地。与此同时,在移动终端和物联网设备的广泛应用场景中,如何将人工智能融入边缘计算,部署在边缘设备,更好更快地提供智能服务也成为了热点话题。边缘智能的概念因此应运而生。

OPENAI LAB(开放智能)于2016年成立,旨在为AIoT产业上下游合作伙伴提供边缘AI算力的开放平台及应用操作系统。以开放的AIoT操作系统平台Tengine为核心,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展,助力AIoT全行业的快速赋能及应用落地,让更多企业进入AI行业,最终实现万物智能。

在12月26日的技术工作坊中,来自OPEN AI LAB的技术专家围绕Tengine介绍了边缘智能方向的相关内容。
3B0A9634.JPG OPEN AI LAB高级软件开发工程师李琦首先对「Tengine框架的模型推理」进行了介绍。当前,AI技术及应用场景无处不在,包括门禁、考勤,坐火车、坐飞机时的人脸识别。每个简单的应用都需要有一个开发链条,这些开发工作是非常碎片化的,比如要懂三个方面以上的系统知识,也要懂框架方面的知识和底层部署硬件的知识,为企业开发带来了很大的人力损耗和技术挑战。与此同时,受到云端网络、带宽等成本的限制,边缘设备也受到了更多的关注。训练好的模型如何在平台上部署?性能和精度如何,能否满足要求?嵌入式平台系统很复杂,此类场景如何处理?

基于种种痛点,OPENAI LAB成立了Tengine自主知识产权的边缘AI推理框架,就是Tengine产品。

值得注意的是,Tengine已经在GitHub开源。一方面Tengine可以通过异构计算技术同时调用CPU、GPU、DSP、NPU 等不同计算单元来完成AI网络计算;另一方面,它支持TensorFlow、Caffe、MXNet 、PyTorch、 MegEngine、 DarkNet、ONNX、 ncnn 等业内主流框架,是国际上为数不多的通过ONNX官方认证的战略合作伙伴之一。

3B0A9708.JPG OPEN AI LAB系统应用技术负责人蒋黎鹏的分享主题是「基于Tengine的边缘开发理论实践」。人工智能发展到现阶段,大家不再一味关注算法的性能调优,而行业落地、产业赋能越来越受到重视,也就是所谓的「+AI」或「AI+」。结合现在的应用开发现状,蒋黎鹏提到目前应用开发边缘端存在的四个问题:

1、芯片异构化的条件下如何有效利用算力。
2、开发生态的碎片化,产品如何快速选型、适配和迁移。
3、算法、芯片级硬件和应用的强耦合,分工协同难度很大。
4、如何进一步降低算法端计算的成本,提高产品在市场上的竞争力。

随后,蒋黎鹏介绍了三种端侧的常见模型加速手段:权值量化、网络剪枝和知识蒸馏。此外,他也提到了新兴的联邦学习,这种方法能够解决边缘端的一些隐私问题。

OPENAI LAB在Tengine的基础上,打造了边缘人工智能开发平台EAIDK。这是全球首个采用Arm架构的人工智能开发平台,面向边缘计算的人工智能开发套件。其中,硬件平台具备语音、视觉等传感器数据采集能力及适用于多场景的运动控制接口;智能软件平台支持视觉处理与分析、语音识别、语义分析、SLAM等应用的基础平台和主流开源算法,满足端侧AI教育、算法应用开发、产品原型开发验证等需求。帮助人工智能真正落地的同时,EAIDK也助力了AI开发门槛的降低。

推荐文章
没有相关数据
这里可作为广告区域