水上机器视觉场景业务分析

web摄像头即时视频流

初始数据格式：船载web摄像头获取的视频流，基于本地流媒体服务传输到系统（rtmp/rtsp）

处理方式：ffmpeg解码视频流到rgb图像帧，经测试基于nginx的rtmp流媒体在本地延迟在80ms左右（局域网场景，摄像头参数为1080p双摄，nginx流媒体部署于树莓派3b+）

处理后数据格式：ImageFrame - 以 {测试样例_时间戳}.jpg 命名

点云数据

「二维平面（综合判定的）点云的点以圆输出，给出圆心坐标、圆半径」 from 水上机器视觉技术讨论_会议纪要.doc

初始数据格式：点云中单个点以圆心坐标、圆半径的形式给出？
能否理解为：将点云做一次拟合圆之后，给出船体所在水平面的点云

处理方式：能否直接给出拟合圆以前的世界坐标系/雷达坐标系下的点云PointXYZ，和雷达轨迹（四元数或欧拉角描述）

处理后数据格式：
每一图像帧时刻的PCL处理的点云数据，以PointXYZ描述 { pointid, x, y, z}
每一图像帧时刻的雷达轨迹，以四元数或欧拉角描述 { w, x, y, z}/{ x, y, z, rx, ry, rz}

视觉雷达联合标定

初始数据格式：光学相机：相机内参，畸变函数；相机外参
雷达： 雷达外参数。
处理方式：
将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后我们只对该区域内进行识别（水岸分割模型或目标检测模型）。优点是
可以迅速地排除大量不会有目标的区域，极大地提高识别速度。
建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。
毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中。由于ADAS前向视觉系统以视觉为主，因此只需将毫米雷达坐标系下的测量点
通过坐标系转换到摄像机对应的像素坐标系下即可实现两者空间同步。
联合标定的目的：将毫米波检测的目标转换到图像上。

联合标定方式（原理）：

  • 毫米波坐标系下的坐标转换到以相机为中心的世界坐标系中
  • 将世界坐标系的坐标转换到相机坐标系
  • 将相机坐标系的坐标转换到图像坐标系

毫米波可以得到目标在图像中的x,y坐标信息（文档中提到的拟合平面，该xy是在毫米波坐标系下的数值，2D），由于没有目标的z坐标信息，
可以由（x,y,1）将毫米波坐标系转换到相机世界坐标系下，