南京大学感算一体的高光子利用率单光子相机

南京大学吴培亨院士团队张蜡宝教授课题组联合清华大学自动化系季向阳教授课题组，基于多维可调控的超导单光子探测器(SNSPD)，研制出高光子利用率的感算一体相机，平均每像素仅需0.12个光子，对三个字母图案的分类准确率即可达到90%以上。

在感知以及信息传递中，光是重要的媒介与载体。人们通过对光进行操纵与探测可以实现对外部世界的探索。光电探测技术的迭代始终与人类认知边界的拓展深度交织。19世纪初，随着夫琅禾费通过光谱仪发现太阳暗线，微弱光信号的精准探测成为破解宇宙物质成分的关键。20世纪初爱因斯坦提出的光量子理论更是将光子探测的需求推向极致。从历史规律看，每次光子探测效率的提升，都会引发相关学科的突破。进入21世纪，暗物质探测、量子信息和超分辨成像等领域的技术瓶颈亦使得高效率光子探测成为破局关键。同时随着数据量的爆炸式增长，传统“探测-存储-计算”分离的探测架构面临延迟高、能耗大等挑战。

人眼通常可以基于极少的特征信息实现极低延迟的目标识别。然而，目前各种类型的图像传感器都需要经过探测、存储、计算这三个分立的过程，其中信息的传递和读取消耗了额外的能量，并限制了有效信息提取的效率。近期发展起来的感算一体图像传感器融合了感知和计算过程，可大大降低机器视觉任务的功耗和延迟。这类传感器通常是由具有可调电学和光学特性的二维半导体实现的，在图像分类、光谱分辨、运动感知和图像预处理等方面取得了不错的成果。但受限于探测器性能和工作模式，暂时还无法达到单光子灵敏度，导致其在弱光环境下的应用受到限制。因此，具备单光子灵敏度的感算一体芯片已成为光电探测、人工智能和量子探测等交叉领域的研究前沿。

凭借单光子灵敏度和极低暗计数，超导纳米线单光子探测器(SNSPD)在可见光到红外波段都得到了广泛的应用。然而随着像元数目的增加，低温下逐像元的信号读出将面临挑战。目前的阵列SNSPD读出方案，如行列复用、时分复用等，普遍存在读出效率低、数据量大的问题，难以胜任实时的成像与目标识别任务。突破探测-存储-计算的传统路径而使用感算一体的架构，是基于阵列SNSPD实现高光子利用效率的单光子相机的可行路径之一。

图1感算一体超导单光子相机的系统示意图

针对上述难题，研究人员通过深入挖掘阵列SNSPD的多维可调控特性，研制出一种高光子利用率的感算一体超导单光子相机，其系统示意图和工作原理如图1所示。其总体思路是，通过调节阵列SNSPD的偏置电流以实现光计数率、脉冲幅值、脉冲恢复时间及光谱响应度的调控，从而实现了光信号采集与计算的深度融合。在图像分类任务中，首先基于字母图案的数据集对网络权重进行优化，再通过调节各像素的偏置电流将网络权重映射到阵列传感器的计数率或脉冲波形中，最终多组偏置电流矩阵对应的合成读出信号即为图像分类结果。

研究人员首先开发了高性能的阵列SNSPD并且基于该传感器开发了两种片上计算方案。如图2(a-b)所示，该传感器在405nm~1550nm波段都具备饱和的量子效率(量子效率接近100%)。在低偏置电流下，各像素的量子效率随偏置电流的增加而非线性增加。当入射光强不变时，提高偏置电流会使得光计数率增加。因此基于光计数率进行计算，将计数率随偏置电流的变化曲线进行归一化即可得到权重和偏置电流的关系，根据多组偏置电流矩阵对应的总计数率即可判断图像类别。该方案的信号采集仅需单通道计数器即可完成，设备复杂度较低。随着偏置电流继续增加，量子效率不再随偏置电流增加。在固定光强下增加偏置电流，光计数率会保持不变。如图2(c)所示，此时响应脉冲的形状仍会随着偏置电流变化，因此基于脉冲积分面积进行计算，其工作原理与基于计数率的方案基本一致，根据合成读出信号的脉冲积分面积即可判断图像类别。该方案工作在量子效率饱和区域并且仅需单个脉冲即可实现权重的加载，因此具备更高的光子利用率。

图2阵列SNSPD的可调控光响应特性。(a)405nm下光计数率随偏置电流的变化曲线；(b)1550nm下光计数率随偏置电流的变化曲线；(c)响应脉冲幅值随偏置电流的变化；(d)光计数率随光强的变化曲线。

结合上述两种计算方案，研究人员基于该相机实现了26字母图案的分类。如图3(a-c)所示，尽管DMD串扰和背景噪声导致投影图案的质量较差，该技术对大部分字母的分类准确率仍可达到95%以上。图3(d-e)展示了针对“NJU”字母三分类进一步分析的结果，在剔除外部光路导致的串扰后，平均每像素采集0.12个光子，字母三分类的准确率即可达到90%以上。如图3(f)所示，平均每像素采集0.12光子得到的字母图案几乎无法通过肉眼分辨，而感算一体超导单光子相机仍然可以基于局部的特征进行准确的分类。

图3基于感算一体相机的图像分类。(a)投影图案；(b)直接采集的图案；(c)26字母图案分类的结果；(d)“NJU”字母三分类的准确率随平均光子数的变化曲线；(e)无串扰情况下，“NJU”字母三分类的准确率随平均光子数的变化曲线；(f)无串扰情况下，平均每像素采集0.12光子得到的字母图案。

进一步的，研究人员基于可调控的光计数率实现了片上图像预处理功能，包括高斯滤波、边缘增强和图像锐化。如图4(b-d)所示，实验结果和仿真结果高度一致，与图4(a)中直接采集的图像相比，边缘增强和图像锐化操作都避免了分块采集导致的块状响应。此外，SNSPD具备本征的光谱分辨能力，如图4(e-f)所示，不同波长入射光对应的计数率曲线不同。如图4(g)所示，通过优化偏置电流矩阵，仅需单次采集即可实现入射光波长的分辨。

图4基于感算一体相机的图像预处理和光谱分辨。(a)投影图案(左)与直接采集的图案(右)对比；(b)图像高斯滤波的结果；(c)图像边缘增强的结果；(d)图像锐化的结果。(e)和(f)传感器阵列的光谱响应特性；(g)用于光谱分辨的偏置电流矩阵和判别矩阵。

本文基于多维可调控的阵列SNSPD开发了具备高光子利用率的感算一体相机。该相机具备片上图像分类、图像预处理和光谱分辨功能，为极弱光环境下的实时视觉任务提供了全新的解决方案，如暗弱空间目标探测和活体细胞显微成像等。未来结合超导逻辑电路与大规模阵列传感器，有望实现更智能的高性能视觉系统。因此，本成果对于进一步提升现有设备的探测能力，服务于智能感知、量子成像、生物成像以及深空探索等前沿应用以及科学研究，具有重要的意义。目前该工作仍存在优化空间，后续需要扩充像素规模以提高分辨率，优化外部光路来减少信号串扰。同时可以引入其它的片上计算单元来提高网络复杂度，从而实现更高阶的视觉任务。

相关成果近日以“Photon-efficientcamerawithin-sensorcomputing”为题发表于《NatureCommunications》。南京大学博士生管焰秋为本文第一作者；张蜡宝教授和季向阳教授为本文共同通讯作者。以上工作还得到了超导电子学研究所康琳教授、陈健教授、王华兵教授和吴培亨院士的大力支持，陈奇副研究员、王昊助理教授、涂学凑教授级高工、赵清源教授、贾小氢教授等在器件制备和论文撰写等环节给予了帮助。该项目得到了国家自然科学基金、江苏省自然科学基金等资助，实验工作得到了极端性能光电技术教育部重点实验室、江苏省电磁波先进调控技术重点实验室和微制造与集成工艺中心等支持。

论文原文：

Y.Guan,H.Li,Y.Zhang,Y.Qiu,L.Zhang,X.Ji,H.Wang,Q.Chen,L.Ma,X.Wang,Z.Yang,X.Tu,Q.Zhao,X.Jia,J.Chen,L.Kang,P.Wu.,Photon-efficientcamerawithin-sensorcomputing.Nat.Commun.2025,16,3201.https://doi.org/10.1038/s41467-025-58501-2