航拍网微软的研究人员描述了一种机器学习系统，原因出正确的行动，直接从相机的图像服用。它通过仿真进行训练，学会独立导航现实世界中的环境和条件，包括看不见的情况，使其非常适合部署在搜索和救援任务中的机器人。总有一天，它可以帮助那些机器人更快地识别需要帮助的人。研究人员在本周发表的文章中写道：“我们希望推动当前的技术更接近人类解释环境线索，适应困难条件和自主操作的能力。” “我们有兴趣探讨构建具有相似性能水平的自治系统将需要什么的问题。”
团队的框架明确地将感知组件与控制策略分开。它受到人脑的启发，将视觉信息直接映射到正确的控制动作上，即通过将视频帧的高维序列转换为概括世界状况的低维表示形式。研究人员认为，这种两阶段方法使模型更易于解释和调试。
该团队将其框架应用于带有前置摄像头的小型四轴飞行器，试图仅使用摄像头的图像来“教” AI策略以导航至整个赛车场。他们使用称为AirSim的高保真模拟器在模拟中对AI进行了训练，然后将它们未经修改地部署到现实世界的无人机中，使用称为跨模态变分自动编码器（CM-VAE）的框架来生成紧密桥接的表示形式模拟现实差距。该系统的感知模块将输入的输入图像压缩为上述的低维表示形式，从27,648个变量降至可以描述它的最基本的10个变量。解码后的图像描述了无人机可以看到的东西，包括所有可能的登机口尺寸和位置以及不同的背景信息。
研究人员在带有门的45米长S形轨道和带有不同门的40米长圆形轨道上测试了系统的功能。他们说，使用CM-VAE的策略明显优于直接编码下一个门的位置的端到端策略和AI。即使在背景条件下产生了“强烈”的视觉干扰，该无人机仍通过采用交叉模式感知模块设法完成了课程。
合著者断言，结果显示出在实际应用中提供帮助的“巨大潜力”。例如，该系统可以帮助自主搜索和救援机器人更好地识别年龄，大小，性别和种族差异的人，从而为机器人提供更好的机会来识别和获取需要帮助的人。研究人员写道：“通过将感知行为循环分为两个模块，并将多个数据模态纳入感知训练阶段，我们可以避免网络过度适应输入数据的非相关特征。” “例如，即使在模拟和物理实验中方形门的尺寸相同，它们的宽度，颜色甚至相机固有参数也不是完全匹配。”
这项研究是在微软发起“ 无人驾驶游戏” 挑战赛之后进行的，该挑战赛在AirSim模拟中使四旋翼无人驾驶飞机赛车AI系统相互对抗。 去年，微软将AirSim引入了Unity游戏引擎 。
via.venturebeat
