首页 > 方案秀 > 智能视觉导航解决方案

智能视觉导航解决方案

发布时间:2018/07/30 14:39           类型: 合作伙伴

目前,市面上主流的电动多旋翼无人机避障系统主要有三种,分别是超声波、TOF(激光雷达测距的一种)以及视觉导航。自主照相机和图像处理技术的发展促使视觉导航技术的发展。视觉导航是通过摄像机对周围环境进行图像采集,并对图像进行滤波和计算,完成自身位姿确定和路径识别,并做出导航决策的一种新的当行技术。由于视觉导航的采用被动工作方式,最主要的特征是视觉导航的自主性和实时性。它不依靠外界任何设备,只需对储存系统和环境中的信息进行计算就可以得出导航信息。

方案介绍:

目前,市面上主流的电动多旋翼无人机避障系统主要有三种,分别是超声波、TOF(激光雷达测距的一种)以及视觉导航。自主照相机和图像处理技术的发展促使视觉导航技术的发展。视觉导航是通过摄像机对周围环境进行图像采集,并对图像进行滤波和计算,完成自身位姿确定和路径识别,并做出导航决策的一种新的当行技术。由于视觉导航的采用被动工作方式,设备简单,成本低廉,其应用范围很广。最主要的特征是视觉导航的自主性和实时性。它不依靠外界任何设备,只需对储存系统和环境中的信息进行计算就可以得出导航信息。

无人机智能视觉导航模块的主要功能实现为视觉导航与定位、双目避障、下向感知与定位、下向目标识别、精确降落。

 

萤火工场合作的智能视觉导航模块具备双目摄像头,单目 VIO 鱼眼摄像头,对地可见光摄像头。并且具备工业级的 CAN 总线接口,集成先进的机器视觉算法,深度卷积神经网络(APQ8096),可为工业级无人机提供前向自主避障、视觉里程计、高精度视觉定位、下向目标识别、智能降落等强大的机器视觉功能。

 

一、VIO 视觉惯性测程

VIOVisual Intertial Odometry)是视觉惯性测程,在未知、缺少特点的环境中,同时使用惯性传感器、前向和下向相机(用广角相机前下方覆盖),采用扩展卡尔曼滤波 算法,将图像与 IMU  数据进行融合,追踪位置和方向,确定自己在相对坐标系中的位置,可应用于航线规划。其中相对坐标系的原点可进行配置。视觉导航模块根据 VIO 测量数据和原点位置,计算出飞行的里程,可作为飞行器飞行里程计使用。

 

二、双目前向定位

双目前向定位使用双摄像头视觉信息及飞控 IMU  信息实时计算飞行器当前位置和姿态(相对于起始位置和姿态),并通过相邻帧的时间差,计算飞行器当前速度,反馈 给飞控,实现飞行器精准定位和精准测速。

通过实时采集左右双目数据,并进行极线校正,同时以高频率(200Hz 以上)采集IMU 数据和飞控姿态信息,使用双目 VIO 算法,实时计算飞行器当前位置和姿态,并结合时间戳信息计算飞行器速度,将位置信息和速度信息实时反馈给飞控,实现飞行器 的精准悬停和精准定位。双目避障主要包括深度图计算与避障逻辑两部分组成。

软件算法(运行在 APQ8074  中)进行极线校正和深度计算,获取深度图,使用飞控 API  实时获取飞行器姿态,在避障逻辑中实时规划安全的飞行路线,并将飞行路线反馈给飞控,实现飞行器避障。双目障碍物感知范围:准确识别 0.8~40m 内障碍物,当飞行器速度小于 25m/s 时, 可绕开障碍物或于障碍物前方 2m 处悬停。

 

三、下向视觉定位

下向视觉定位,通过运动图像分析实现横向定位,定位可用高度范围为 0.25-25m 飞行速度≤10m/s。使用下向视觉定位时,飞行区域下方需有明显纹理,照度>15 lux。下向视觉定位的同时,可把下向视频透传给无人机机载计算机或传回地面站,用于识别飞行器降落的地面环境。

 

四、 精准降落

用户点击“精准降落”。此时如预览界面上出现降落地标示,或者降落目标,比如车顶,二维码,H 字符。视觉模块发送目标信息给无人机飞控,使得无人机可以降落在目标上面。智能视觉导航模块由 CPU、主摄像头模组、鱼眼摄像模组、双目摄像模组、下向双目模组、IMU 和电源管理组成。

 

硬件系统框图:

 

主要功能:

1.双目 Camera

- 影像传感器:OV7251 1/7.5“,CMOS,640*480;

- 镜头:FOV72°D,f/2.0,景深焦点至无穷远;

2.鱼眼 VIO Camera
-
影像传感器:OV7251 1/7.5“,CMOS,640*480;45°前向安装

- 镜头:FOV166°D,f/2.0,景深 0.05m 至无穷远;

3.对地可见光 Camera IMX214(配高通 801)
-
影像传感器:IMX214 1/3.06“;垂直对地安装;

- 镜头:FOV75°D,f/2.2,景深 1.86m 至无穷远;

4.对地可见光 Camera OV12895(配高通 820)

- 影像传感器:OV12895 1/2.3“,用于在高通 820 平台下替换 IMX214;垂直对地安装;
- 镜头:FOV80°Df/2.0,景深 2.07m 至无穷远;

5.接口
-
视频输出:USB 2.0,支持 OTG;

- 控制接口:CAN,RS232;
- 电源:DC 8V-12V;

 

基本性能指标:

 

 

应用领域:

工业无人机,智能物流车,智能机器人,智能工厂等应用

 

技术支持服务:

  • Datasheet
  • 样片
  • 模块 

 

相关方案:

惯性导航与驾驶行为分析模块方案


HPS-167U-L高性能防水飞行时间(ToF)传感器方案

 

关键器件

序号 型号 品牌
1 APQ-8074-0-990BPNSP-TR-06-0 立即购买 Qualcomm
2 APQ8074CD Qualcomm
3 SGM8272YMS8G/TR 立即购买 SGMicro
4 SGM6232YPS8G/TR 立即购买 SGMicro
5 LT8621SXE-M 立即购买 Lontium
6 OV12895 OmniVision
7 OV7251 OmniVision