去年,深兰科技与上海交通大学联合组建了“深兰科技-上海交通大学人工智能联合实验室”,合作一年多以来,联合实验室围绕芯片、机器人等方向进行了深入的合作与研究,为人工智能理论研究与应用发展奠定坚实的科研基础,也为进一步提升了深兰科技相关产品的性能。
日前传来捷报,深兰科技与上海交通大学联合撰写的论文《Unsupervised Learning of Depth, Optical Flow and Pose with Occlusion from 3D Geometry》被顶级期刊IEEE Transactions on Intelligent Transportation Systems(TITS)正式录用。
TITS是智能交通领域的顶级学术期刊,2017至2018的影响因子为4．051。该期刊对论文的理论与应用贡献都有很高的要求,致力于用人工智能技术解决交通场景下的实际问题。
论文概述
在自动驾驶中,对场景深度、光流和相机运动的精确感知是进行SLAM、避障和导航等高层任务的基本能力。视频中包含了大量的信息,基于视觉进行场景感知也符合人类在驾驶过程中的感知方式。该论文实现了基于单目相机在室外场景下的深度位姿光流联合无监督估计系统。该系统通过对深度、位姿和光流三者耦合的空间信息和遮挡感知进行建模,对单目视频序列进行深度,相机运动,和光流的联合无监督学习,在无地面真值标记的情况下实现对深度、位姿和光流的高质量估计。通过对该任务的分析,将中间帧的像素建模为三部分:刚性区域、非刚性区域和遮挡区域。
本文针对遮挡和光照变化引起的像素不匹配问题、长期训练中的深度退化问题以及遮挡区域的光流估计问题。提出一种新的多掩膜计算方法,在深度和位姿联合无监督训练中,明确地利用三维几何关系进行遮挡区域的计算,在深度-位姿网络和光流网络的训练过程中进行自适应的遮挡去除,因为基于深度-位姿的图像重建和基于光流的图像重建过程中,重建的图像在遮挡区域是无效的;提出自适应的误匹配像素过滤方法,进一步排除了深度和姿态网络训练中运动或光照变化干扰的不匹配像素,滤除了干扰的训练数据,在光流网络的训练中,该方法也用于排除一些琐碎的误匹配像素;提出深度估计的最大值归一化方法,以抑制无纹理区域的深度退化,使得即使进行长久的网络训练,深度估计结果也不退化;在被遮挡区域,深度和摄像机运动可以提供更可靠的运动估计,可以用于指导光流的无监督学习,因此提出深度位姿静态流对遮挡区域的光流进行监督的策略,使得光流网络对遮挡区域依然有效。
最终实现仅从单目视频序列中进行深度、位姿和光流的联合无监督学习,无需任何地面真值标记,就可以实现高质量的深度、姿态和光流估计,极大地降低了网络训练所需的人工标注成本,实现了基于单目相机的动态室外场景感知。提出的方法在公开的KITTI自动驾驶数据集上进行了实验验证,证明超过了论文投稿时相关研究的最好结果。源代码可以在以下网址获得:https://github．com/guangmingw/DOPlearning。基于单一图像的深度估计作为一种基本的感知能力,在无人机和自主机器人的避障和导航中非常有用。姿态估计可以实现自主机器人的位置估计。光流估计可以为动态目标跟踪、目标速度估计等任务提供信息。这些问题在自动驾驶和服务机器人领域都有着深远的意义。
2019年6月,深兰科技与上海交通大学联合组建了“深兰科技-上海交通大学人工智能联合实验室”,上海交通大学副校长奚立峰和深兰科技创始人、深兰科学院创始院长陈海波为实验室揭牌。
上海交通大学奚立峰副校长表示,上海交通大学在人工智能领域具有扎实的学科基础和深厚的学术资源力量,在教育部第四轮学科评估中,支撑人工智能基础理论技术的计算机科学与技术、控制科学与技术、信息与通信工程三个一级学科均为A。2018年1月学校成立人工智能研究院,在此基础上又获准建设人工智能教育部重点实验室。2019年,交大又成为教育部全国首批35所人工智能专业建设的高校之一,已正式招收人工智能本科生,培养人工智能基础研究拔尖人才和交叉应用高端人才。同时学校非常重视与产业界的友好往来、合作互动,推动产教融合深入发展,通过校企合作为人才培养提供实践场地与平台。深兰科技作为上海优秀人工智能企业的代表,在人工智能基础研究和应用开发方面具备一定的实力,此次双方共建人工智能联合实验室,是持续推进人工智能优秀成果产出的重要举措。
