阿里大幅增持小鹏汽车。 当地时间11月14日,阿里巴巴向美国证监会提交的13F文件显示,三季度,阿里巴巴大幅增持了小鹏汽车ADS,同时减持了少量玩美股份。阿里增......
2024-11-17 172
人类大脑中有约1000亿个神经元,它们相互连接构成了一个网络,其中的连接部分被称为突触,而这些多达约10亿的突触,其视觉机制的运行只需要不到1个灯泡的能量就能驱动。
如今,这一生理机制有望作用于手机摄像中,被称为“基于事件的视觉传感器(EVS)”,法国公司Prophesee近期宣布与高通合作,将EVS技术应用于手机中,目标是明年结束之前会有首款搭载EVS技术的手机问世。
EVS的技术起源于视觉神经的信号模拟,是模仿眼睛的感光机制而建立的传感器技术:人眼感受到光线后,视网膜上的受体细胞就会将光信号转换成神经信息,后段的神经细胞再分别挑选出亮部和暗部,经由神经节细胞,将信息传递到大脑的视觉皮层。
EVS则如同人类视觉神经,射入传感器的光线会转换成电气信号。电气信号通过放大器,由比较器根据亮度变化进行分离,形成变亮信号和变暗信号,然后再通过后段的信号处理,以EVS图像数据的形式输出。因此,EVS是一种只对亮度变化敏感并输出图像的视觉传感器。
这一方式与目前手机上所用的CMOS传感器截然不同:CMOS会将捕捉到的所有图像信息全部输出,而EVS只输出有变化的像素部分,因此可削减数据量,同时实现高速且高效的传感。
另一方面,CMOS传感器以“帧”为单位,基于固定速度,以一定时间为周期(如每秒60次)来记录图像。与其相比,EVS有非常高的时间分辨率,据称等效于每秒能记录10000张影像,做到只捕捉运动物品的轨道部分,可以理解为几乎记录到物品的全部运动过程。
这意味着EVS在拍摄移动对象时十分有利,而智能手机厂商也希望自家摄像头拥有这类特点。目前,使用CMOS传感器的手机在拍摄高速运动物体时通常存在着所谓的“运动模糊”(motion blur),即照片中拍摄快速移动的物体存在明显痕迹。搭载了EVS传感器的摄像头就可以消除这种模糊,Prophesee和高通就期望在手机中做到这一点。
Prophesee主要研究模拟人眼视觉的“神经形态视觉技术(neuralmorphic vision technology)”,直到最近几年这种技术才逐渐成熟。目前,Prophesee已经获得超过1.2亿美元的融资,投资方包括中国创新工场、小米和韦豪创芯等,目前在法国、美国、中国和日本都设有办公室,拥有超过110人团队。
“其实我们没有创造一项新的技术,只是把自然界中存在了多年的原理,将之以最合适的、最正确的方式应用到产品和技术当中。”Prophesee联合创始人兼首席执行官Luca Verre告诉界面新闻,“在手机端,目前的应用是将Prophesee的EVS传感器与传统上以帧为单位的图像传感器进行结合,从而提高手机摄影照片的质量。”
Luca Verre提到,通过同步EVS传感器和传统传感器的数据,手机摄影可以实现高性能的图像去模糊。系统能够将EVS以微秒为单位记录的事件填充到两帧图像的间隙,通过算法提取纯动态信息,从而修复运动模糊。
与高通的合作也将为EVS进入手机市场降低难度,EVS传感器以及Prophesee的模糊消除算法可以与高通的骁龙手机平台整合。
传感器的生产是在索尼帮助下完成的,生产出的EVS传感器成品提供给客户,目前在索尼半导体部门的官网上,已经有两款EVS传感器对外提供。根据Prophesee介绍,借助索尼生产图形传感器的经验,使得EVS传感器得以大规模量产,实现优秀的拍摄性能并降低成本。
“在成本方面,EVS和传统的以帧为基础的传感器没有太大的区别,不管是从尺寸上来看,还是从产量上来看,因为我们使用的都是一样的生产工艺,所以最终成本逻辑也是一样的,生产的晶圆片量越大成本越往下压,芯片的大小也会影响芯片的成本。”Luca Verr说,目前EVS方案主要面向高端手机产品。
实际上,在拍摄中消除运动模糊,通过多帧图像算法合成,以及引入AI进行图像去模糊的方案已经存在应用,在手机中引入基于EVS传感器的一颗新“眼睛”将是一场冒险,涉及到成本、软件开发等难题。Luca Verre认为,跟传统的解决方案相比,EVS只关注画面中动态变化的信息,可以大大降低数据量,省电并且实现非常高速的物体追踪,除了给照片降低模糊的功能外,未来还可以有很多新应用方向可以挖掘。
在与手机OEM的合作上,Prophesee副总裁兼大中华区总经理杨雪飞提到,Prophesee正全面与中国各知名手机OEM厂商展开合作,考虑此前小米参与了Prophesee的融资,预计EVS未来将在小米手机上登场会是大概率事件。
手机外,Prophesee还努力将EVS推向更多市场,其中一个领域是工业机械领域,EVS可以用来监控、检查和测量以极高速度移动的设备或产品。此前传统产业用相机难以对高速运动物品发挥作用,而使用EVS则有望满足需求。
此外,EVS具有广阔的动态范围特性,即使同一个画面中同时存在昏暗环境和日照强烈的明亮环境,也能清晰拍摄人的活动;同时EVS在拍摄人的活动时,不会呈现面容等细节,只输出人的轮廓,因此有望作为保护隐私的安防摄像头发挥作用。
【内容声明】文章内容由新财梯网编辑整理,新闻来源:界面新闻
人类大脑中有约1000亿个神经元,它们相互连接构成了一个网络,其中的连接部分被称为突触,而这些多达约10亿的突触,其视觉机制的运行只需要不到1个灯泡的能量就能驱...
以上就是好财梯网整理的关于这家法国公司要给手机装上不一样的“眼睛”(今日财经:#这家法国公司要给手机装上不一样的“眼睛”#解读)的全部内容,希望你在了解【今日财经:#这家法国公司要给手机装上不一样的“眼睛”#解读】的基础上可以帮助到你,让我们一起学习理财知识。
相关文章
阿里大幅增持小鹏汽车。 当地时间11月14日,阿里巴巴向美国证监会提交的13F文件显示,三季度,阿里巴巴大幅增持了小鹏汽车ADS,同时减持了少量玩美股份。阿里增......
2024-11-17 172
今日哔哩哔哩-W(09626.HK)公布三季业绩,季度首次实现盈利。股价却出现大跌,盘中一度跌超13%。截至发稿,跌10.59%,报145.20港元。从上图走势......
2024-11-17 518
截至本周五,美股多数机构投资者已经完成了第三季度持仓数据(13F)的披露。而对于国内投资者们来说,高瓴、高毅等中资私募机构的海外投资动向无疑是最为关注的。注:四......
2024-11-17 253
上证报中国证券网讯 11月16日,TCL科技首席技术官、TCL华星首席技术官闫晓林在2024年TCL华星全球显示生态大会(DTC2024)上宣布印刷OLED正式......
2024-11-17 671
证券时报e公司讯,思泉新材(301489)近日接受机构调研时表示,北美大客户是公司重要客户,目前该客户订单充足。公司向该客户提供的产品主要为石墨膜,仅应用于其手......
2024-11-17 231