CNN将赋予CMOS图像传感器更多的智慧
视觉传感器正在日益成为数据采集的重要边缘设备。最初用于摄影应用的简单图像传感器,今天也将服务于人工智能和机器学习系统的高质量输入。这些系统利用新的和创新的处理器架构已经成为复杂的决策实体。
1、边缘数据采集
虽然边缘数据采集设备在本质上主要是模拟的,图像传感器的独特住处在于:
输出通过连续的动态光输入进行时间多路复用;
需要有能力维持转换光输入的完整性,同时处理,以交付图像输出;
输出的图像质量最佳,可进行有意义的处理;
这些需求和随后的结果可能会对视觉系统所做决策的准确性产生重大影响,而视觉系统的决策结果决定了整个自动化系统的安全性、可靠性和盈利能力;
2、基于机器学习的视觉系统
机器学习的出现推动了图像传感器的创新,并提高了性能水平,这是为了支持各种应用程序。你所看到输入到系统中的数据是通过视觉输入的高保真度数据。如今,人工智能算法能够检测、识别和分类这些输入,并生成准确的决策输出。这些输出的可靠性取决于输入的质量,也取决于它们的算法的准确性,以及用于处理这些算法的神经网络。
基于机器学习和深度学习的视觉系统主要使用卷积神经网络(CNN)算法来创建一个强大的自动识别的专用系统。增加CNN的深度层可以提高推理精度, 但更多的层也会对这些网络在训练阶段的学习时间以及系统中完成推断的延迟产生不利影响。同样,高质量的图像输出使视觉系统能够携带最小的CNN层集,同时产生高度准确的推断。这在获得一个快速部署的智能系统方面带来了显著的好处,同时提供高性能和低功耗。
3、图像传感器输入到机器学习系统
对于发送到CNN层级的图像传感器输出有相当多的要求,包括:
一个全局快门,能够捕捉场景,并保持最小化运动伪影
较高全局快门效率,确保每个像素中保留的场景不会被该像素光路以外的光输入损坏
足够的像素大小,以支持良好的图像质量,即使在挑战性的光照条件
低总噪声的图像输出,确保高完整性的输入
在运行和待机期间低功率,以满足对流换热是标准的相机系统的典型挑战。
这些特性依赖于像素结构和相关电子路径的设计。CMOS图像传感器(如AR0234CS)的结构和设计满足了这些需求,使其成为基于CNN的视觉系统的理想选择。
4、高速接口可实现快速系统
一个像素可能具有优秀的质量和完美的设计来生成高质量的图像,但是由于带宽限制,整个视觉系统可能仍然会受到性能差的影响。今天的传感器都配备了SerDes接口,但是这些接口流量数据的速度决定了整个系统的质量。
高帧速率要求这些接口以快速的速度传输图像数据。此外,传感器必须为每帧输出消耗低功率(fps/mW)。这些特性允许系统定时和电力预算转移到他们最需要的地方——处理引擎,并允许最先进的神经网络和复杂的算法进行合并。这使图像处理器能够提取图像数据中的细微差别,这些细微差别对于应用程序来说可能很重要。因此,视觉系统开发商可以区分他们的系统解决方案明显的竞争。
10月9日,安森美半导体推出了230万像素CMOS图像传感器AR0234CS,包括机器视觉摄像机、增强实境(AR)/虚拟实境(VR)/混合实境(MR)头显、自主移动机器人(AMR)和条码读取器。
AR0234CS捕获1080p视频和单帧图像,最高可以每秒120帧(fps)的速度运行。该230万像素传感器凭借其领先行业的快门效率,最小化高速场景中的帧与帧之间的失真,并减少其他图像传感器所遇到的运动伪像,从而生成清晰的图像。
(摘编自“电子工程世界网”)