面向大场景多对象的十亿像素级光场智能感知，是智慧城市、无人系统、VR/AR等应用的核心共性技术。光场感知通量的爆炸式增长，对智能计算的算力与功耗提出了全新的挑战，亟需探索光场智能感知计算的新架构、新理论与新技术。
近年来，以衍射神经网络为代表的光学计算架构，虽具有突出的速度与能效优势，但普遍结构简单、规模受限且不易扩展，难以支撑复杂场景中多维光场的智能感知计算。
清华大学电子工程系方璐课题组首创了多通道光电智能计算新架构Monet，提出了编码投影干涉计算等关键模块，在原型系统上验证了多通道光计算在复杂光场智能感算任务上的巨大潜力。该工作发表在Light: Science & Applications，题为A multichannel optical computing architecture for advanced machine vision。
光场智能感知计算旨在实现大场景多对象“看得全”、“建得清”、“算得快”，是高精度自动驾驶、智慧城市建设等应用的核心共性技术。随着摩尔定律放缓，传统硅基电子计算芯片的算力和功耗严重受限，难以满足亿像素级高通量光场智能感知计算的急切需求。探索新的感知技术与计算范式是未来光场视觉计算发展的必然趋势。近年来，以光计算为基础、通过光电融合的方式构建光电神经网络成为国际前沿的热点研究。发挥光电计算高算力、低功耗的特有优势，有望突破传统电子计算长延时、高功耗等瓶颈，实现感算能效的颠覆性提升，引领新一代光场成像理论与技术的变革。
近年来以衍射神经网络为代表的各式光电神经网络不断涌现，然而现有光网络中的基本光学计算单元受制于固化结构与低扩展性，大多仅能实现简单的单通道前馈网络，难以支撑实际应用中的复杂光场智能感知计算。具体来说，现有光电神经网络无法像电子神经网络一样轻易地部署几十到上百个“通道”以提取有效的特征，也缺少有效的光计算单元来融合多通道的信息，极大地限制了光网络的学习能力和推理性能。
● Monet：多通道光电智能计算架构，赋能多维光场智能感知
清华大学电子工程系方璐课题组，提出了多通道光电智能计算新架构Monet(Multichannel Optical neural NETwork architecture，如图1所示)。其中，编码投影干涉计算单元IU，通过相位和偏振的编码调制以及通道间的光学干涉，实现了特征匹配、加权求和等多通道光学基本计算。提出了干涉计算单元IU和衍射计算单元DU交替级联的光电网络模型，实现了光场信息的多通道高效处理，突破了现有光电神经网络结构简单、通道受限等瓶颈，为构建大规模光电神经网络实现复杂光场智能感算提供支撑。
图1. 多通道光电智能计算新架构Monet
为探索Monet的理论性能上限，项目组在双目航拍数据集上对三维深度感知任务进行了数值仿真验证(如图2所示)。结果表明，Monet在双目三维深度感知任务上能够取得与电子神经网络相当的性能，并且具有一个数量级的理论能效优势。
图2. Monet在双目航拍数据集下的三维重建结果
进一步，团队利用空间光调制器(SLM)等器件搭建了Monet原型物理系统(如图3a所示)，并利用其实现了双目深度感知(图3b)与运动物体检测(图3c)，验证了本文所提出的多通道光电神经网络的任务普适性与规模扩展性。
图 3. Monet物理原型系统及其在多维光场成像与运动物体检测等应用的实验结果。(a) 原型系统光路布置。(b)在原型系统上实现了多维光场深度感知计算。(c) 在原型系统上实现了时序多输入运动物体检测计算。
前景展望
该文提出的光电神经网络新架构Monet，具备多通道、高通量、易扩展等特性，在多维光场复杂感算任务上展现了巨大的潜力。随着硅光芯片集成技术的发展，该多通道计算架构可集成为片上可重构光学计算模块，针对实际应用场景实现片上光电神经网络的灵活构建和部署，为未来百亿像素光场智能感算开辟新路径。
