智能视觉导航解决方案

方案介绍：

目前，市面上主流的电动多旋翼无人机避障系统主要有三种，分别是超声波、TOF（激光雷达测距的一种）以及视觉导航。自主照相机和图像处理技术的发展促使视觉导航技术的发展。视觉导航是通过摄像机对周围环境进行图像采集，并对图像进行滤波和计算，完成自身位姿确定和路径识别，并做出导航决策的一种新的当行技术。由于视觉导航的采用被动工作方式，设备简单，成本低廉，其应用范围很广。最主要的特征是视觉导航的自主性和实时性。它不依靠外界任何设备，只需对储存系统和环境中的信息进行计算就可以得出导航信息。

无人机智能视觉导航模块的主要功能实现为视觉导航与定位、双目避障、下向感知与定位、下向目标识别、精确降落。

萤火工场合作的智能视觉导航模块具备双目摄像头，单目 VIO 鱼眼摄像头，对地可见光摄像头。并且具备工业级的 CAN 总线接口，集成先进的机器视觉算法，深度卷积神经网络（APQ8096），可为工业级无人机提供前向自主避障、视觉里程计、高精度视觉定位、下向目标识别、智能降落等强大的机器视觉功能。

一、VIO 视觉惯性测程

VIO（Visual Intertial Odometry）是视觉惯性测程，在未知、缺少特点的环境中，同时使用惯性传感器、前向和下向相机（用广角相机前下方覆盖），采用扩展卡尔曼滤波 算法，将图像与 IMU  数据进行融合，追踪位置和方向，确定自己在相对坐标系中的位置，可应用于航线规划。其中相对坐标系的原点可进行配置。视觉导航模块根据 VIO 测量数据和原点位置，计算出飞行的里程，可作为飞行器飞行里程计使用。

二、双目前向定位

双目前向定位使用双摄像头视觉信息及飞控 IMU  信息实时计算飞行器当前位置和姿态（相对于起始位置和姿态），并通过相邻帧的时间差，计算飞行器当前速度，反馈 给飞控，实现飞行器精准定位和精准测速。

通过实时采集左右双目数据，并进行极线校正，同时以高频率（200Hz 以上）采集IMU 数据和飞控姿态信息，使用双目 VIO 算法，实时计算飞行器当前位置和姿态，并结合时间戳信息计算飞行器速度，将位置信息和速度信息实时反馈给飞控，实现飞行器 的精准悬停和精准定位。双目避障主要包括深度图计算与避障逻辑两部分组成。

软件算法（运行在 APQ8074  中）进行极线校正和深度计算，获取深度图，使用飞控 API  实时获取飞行器姿态，在避障逻辑中实时规划安全的飞行路线，并将飞行路线反馈给飞控，实现飞行器避障。双目障碍物感知范围：准确识别 0.8~40m 内障碍物，当飞行器速度小于 25m/s 时， 可绕开障碍物或于障碍物前方 2m 处悬停。

三、下向视觉定位

下向视觉定位，通过运动图像分析实现横向定位，定位可用高度范围为 0.25-25m， 飞行速度≤10m/s。使用下向视觉定位时，飞行区域下方需有明显纹理，照度>15 lux。下向视觉定位的同时，可把下向视频透传给无人机机载计算机或传回地面站，用于识别飞行器降落的地面环境。

四、 精准降落

用户点击“精准降落”。此时如预览界面上出现降落地标示，或者降落目标，比如车顶，二维码，H 字符。视觉模块发送目标信息给无人机飞控，使得无人机可以降落在目标上面。智能视觉导航模块由 CPU、主摄像头模组、鱼眼摄像模组、双目摄像模组、下向双目模组、IMU 和电源管理组成。

硬件系统框图：

主要功能：

1.双目 Camera

- 影像传感器：OV7251 1/7.5“，CMOS，640*480；

- 镜头：FOV72°D，f/2.0，景深焦点至无穷远；

2.鱼眼 VIO Camera
- 影像传感器：OV7251 1/7.5“，CMOS，640*480；45°前向安装

- 镜头：FOV166°D，f/2.0，景深 0.05m 至无穷远；

3.对地可见光 Camera IMX214（配高通 801）
- 影像传感器：IMX214 1/3.06“；垂直对地安装；

- 镜头：FOV75°D，f/2.2，景深 1.86m 至无穷远；

4.对地可见光 Camera OV12895（配高通 820）

- 影像传感器：OV12895 1/2.3“，用于在高通 820 平台下替换 IMX214；垂直对地安装；
- 镜头：FOV80°D，f/2.0，景深 2.07m 至无穷远；

5.接口
- 视频输出：USB 2.0，支持 OTG；
- 控制接口：CAN，RS232；
- 电源：DC 8V-12V；

基本性能指标：

应用领域：

工业无人机，智能物流车，智能机器人，智能工厂等应用

技术支持服务：

• Datasheet
• 样片
• 模块 

相关方案：

惯性导航与驾驶行为分析模块方案

HPS-167U-L高性能防水飞行时间(ToF)传感器方案