强有力的无人机视觉的自主检测
作者：Murtaza Bohra
Quanser公司无人驾驶系统工程师
作为Quanser的研发工程师，我工作中的最好的部分之一就是与客户会面并了解他们如何在他们的教学实验室里或他们的研究中使用我们的系统。最近，我拜访了在Texas州，San Antonio的圣道大学（UIW）的自动驾驶汽车系统实验室（AVS）。虽然他是一所地区性的重点本科大学，但他的AVS实验室是全美最大的本科研究实验室之一。随着最近新加入他们实验室的Quanser Qdrones，我很好奇他们正在做什么。
无人机监控电力线
正如UIW的AVS实验室的副教授兼主任解释的，他的团队正与当地的电力公司合作来帮助他们监控输电线路。他们希望部署无人机飞到发射塔，并将其拍摄的照片或视频发送到操作中心进行分析。之前在他们的实验室里有使用过QBall，Quanser的新一代无人机QDrone完美的顺应了他们的需求。以下是他们的应用示范：
在这个视频里，QDrone在寻找一座塔，在这个案列中是一个黑色的PVC管顶部带有亮白色泡沫的结构。一旦QDrone起飞，他将进入扫描模式，开始寻找塔。QDrone的光流式相机捕捉环境的灰度图像。在板上运行的二进度阈值算法识别的亮像素对应一块泡沫。另一个斑点检测算法接下来在图像中找到所有的斑点，在他们周围画一个框并明确这个框的中心。斑点中心的像素坐标代表塔的位置。QDrone把这些坐标发送到地面站PC的任务服务器上。
“塔”的识别开启了任务的探索阶段。QDrone利用视觉伺服靠近塔并拍照。以上步骤完成后无人机返回扫描环境来寻找下一座塔。在重复一定量的扫描循环以后，无人机返回到他的位置并着陆。
在后台运行
所有这些可能听起来相对简单，但是有些问题，UIW的AVS实验室的研究员们必须去解决。例如他们想要整个任务自动运行。QDrone是一种自动驾驶工具，也就是说在主模块上有可以负责所有飞行状态的一种状态机。然而，在这种情况下，在地面控制站PC上的任务服务器也必须是自主的。这需要在任务服务器上引入第二个状态机。通过这种设置，QDrone可以和地面站通信，起飞，执行寻找和扫描，返回以及着陆。他可以不借助任何用户的输入，自己完成所有的任务。
我们立刻发现在“扫描”和“接近塔”这两个模式中切换存在问题。通常，圆（扫描）轨迹是被生成的时间值的正弦和余弦乘以角速度。这是相对简单的。但是如果你想要暂停轨迹（比如，无人机找到了一座塔），这个模型时间不会为你暂停。你可以请求QDrone保持他的位置，但是一旦你选择继续，无人机会尝试并跳转到轨迹生成器所在的位置，而不是圆圈暂停的地方。一个相当巧妙的技巧解决了这个问题：我们在频域而不是时域使用轨迹发生器。
一旦这个问题得到解决，另一个问题随之发生：QDrone会识别一座塔，并向它移动。但之后它会立刻回到它发现塔的位置。我们意识到QDrone的位置控制器会积极的调整来获得最佳的运动性能。快速倾斜向塔移动最终倾斜向下直到光流式相机不会在看到那座塔。所以我们调低了性能来减小倾斜角度，同时让它依然可以向塔缓慢的滑行。
然而，尽管我们做出了调整，我们发现相同的情况再次发生了。QDrone会在初始的扫描位置和塔上方的位置之间摇摆。尽管这状况和之前发生的一样，但导致现在症状发生的原因却与之前截然不同。QDrone只是简单地移动到塔上，完成了他捕捉到的图像/视频任务之后返回继续扫描。接着，他会立刻找到那座塔，不幸的是，他再一次靠近了先前的那座塔。为了解决这个问题，我们在它返回扫描模式之后关闭了QDrone的相机几秒钟。这样，它对先前发现的塔视而不见了。我们还考虑建立一个数据库来记录已知塔的位置，但我们把它留到以后再来实现。
当我们继续扫描实验室的空间来找塔的时候，我们发现了一个有趣的现象。在一个特定的角落，无人机会声称它发现了一座塔。但是当它向塔移动时，它会失去塔的信息，什么都不做。在这里，是因为尖顶灯反射到了没有铺设橡胶消光砖上。QDrone会选择反射光代替塔的标志，并试图像它靠近。然而，无人机允许的工作空间的物理限制防止他到达目标。它只能无期限的在工作区的边缘等待。
由于一切都是自动运行的，我们对系统的唯一输入就是终止任务。我们关闭发动机让QDrone作自由落体到地面上。这时他的抗冲击设计再一次证明了自己。在我们寻找解决方案时，QDrone轻易的经受住了所有的紧急降落。
加快研究设计
如果你认为这一切花了我们一个月的时间，我必须纠正你。我们只用了不足两天的时间完成。自动驾驶汽车研究室提供软件包，包括预先优化的稳定性和位置控制算法的QDrone。这个算法是很通用的，事实上，无人机只需要接收它在哪儿，要到哪儿去的信息。在这样的体系下，将QDrone集成到AVS实验室的应用程序的过程被简化同时也更加的高效。
这场演示还完美的展示了QDrone的视觉能力。你不仅可以获得板载的图像采集，还可以得到板载图像处理的功能。QDrone上的可视化模型在它流回到地面控制站PC上之后，将无人机看到的捕捉并保存。它还对图像进行处理来找到其中的信息，并保存处理后的图像。最重要的是，它将从图像中提取到的关键信息发送到任务服务器上。并且这一切都是在飞行的QDrone使用稳定和位置控制算法时实时发生的。使快速实施成为可能的其他特点是自动车辆研究实验室的通信架构。你可以使用任务服务器和QDrone的稳定算法以及视觉算法进行对话，所有的一切都是通过WIFI。你也可以通过它和本地系统与操纵杆相连接。
下一步是什么呢？
IW的研究者们准备将这个演示作为概念的室内证明。一旦他们将它带到室外，他们将对应用程序做一定程度上的修改。比如，在没有WIFI的情况下，他们会将任务服务器和路径生成算法传输到QDrone上，这样它就可以生成它自己的算法。这将包括让他的可视化和控制模块直接交换信息。
在室外飞行，UIW团队还必须集成一套GPS来代替室内摄像机定位系统。但是从QDrone的角度来说位置信息是来自定位系统还是机载GPS都不是重点。
另一个关键问题是图像和视频存储。QDrone有4MB的机载内存，这与地面PC通信时是非常棒的。移动到户外时，团队需要考虑增加一个外部的一盘驱动（通过Intel Aero计算机面板上的micro-USB端口)或者一个microSD卡（也可以在Intel Aero计算器板上使用）用来增加额外存储能力。这样一来，所有的原始视频都将被保存在QDrone上和今后检索使用。
我们迫不及待的想看到UIW团队如何将这项研究带入下一个阶段。
