# 计算机视觉(光流、MoCap、VIO、避让)
计算机视觉 (打开新窗口) 这些技术使计算机能够利用视觉数据来感知周围环境。
PX4 使用计算机视觉系统(主要运行于 配套计算机),以支持以下功能:
- 光流 提供二维速度估算(使用向下摄像头和向下距离传感器)。
- 动作捕捉 利用视觉系统提供三轴姿态估计。 外部 与载具连接。它主要用于室内导航。
- 视觉惯性测距 它利用机载视觉系统和 IMU 进行 3D 姿态和速度估计。当全球位置信息缺失或不可靠时,它可用于导航。
- 避开障碍物 在按计划路径飞行时,可提供绕过障碍物的完整导航(目前支持任务)。它使用 PX4/PX4-Avoidance (打开新窗口) 在配套电脑上运行。
- 预防碰撞 用于在载具撞上障碍物之前将其停止(主要是在手动模式下飞行时)。
TIP
PX4 Vision 自主开发套件 (Holybro) 是一款功能强大、价格低廉的工具包,适用于在 PX4 上使用计算机视觉技术的开发人员。它包含 避免 PX4 (打开新窗口) 该软件已预装,可用作您自己算法的基础。
# 动作捕捉
运动捕捉(MoCap)是一种估算 3D 姿势 (使用定位装置对载具进行定位(位置和方向),该装置是 外部 到载具。MoCap 系统通常使用红外摄像机检测运动,但也可使用其他类型的相机、激光雷达或超宽带 (UWB)。
备注
MoCap 通常用于在没有 GPS 的情况下(如在室内)为载具导航,并提供相对于以下设备的位置 当地 坐标系。
有关 MoCap 的信息,请参见
# 视觉惯性测距(VIO)
视觉惯性测距(VIO)用于估算 3D 姿势 (位置和方向)和 速度 行驶中的载具相对于 当地 起始位置。它通常用于在没有 GPS(如在室内)或 GPS 不可靠(如在桥下飞行时)的情况下为载具导航。
VIO 使用 视觉测距 (打开新窗口) 估算载具 姿势 通过视觉信息,结合来自 IMU 的惯性测量(以纠正因载具快速移动导致图像捕捉不佳而产生的误差)。
备注
虚拟信息接口与 MoCap 因为 VIO 摄像机/IMU 是基于载具的,还能提供速度信息。
有关在 PX4 上配置 VIO 的信息,请参阅:
# 光流
光流 提供二维速度估算(使用向下摄像头和向下距离传感器)。
有关光流的信息,请参见
# 外部资源
- XTDrone (打开新窗口) - 用于计算机视觉的 ROS + PX4 仿真环境。计算机视觉 XTDrone 手册 (打开新窗口) 这里有您入门所需的一切!