Nvidiaの研究者は、仮想環境で作成されたデータを使用して、実世界のオブジェクトをピックアップするようにロボットを訓練する方法を作り出しました。 合成データを使用して訓練された畳み込みニューラルネットシステムは、BaxterロボットとRGBカメラを使用してリアルタイムで物体の位置を検出することができます。
スープの缶、マスタードの瓶、Cheez-Itsの箱は、アイテムを人の手に静かに置くようにシステムを訓練するための試行で使用されました。
彼らの合成データを作成するために、シアトルのNvidiaロボット研究所の研究者が、 Unreal Engine 4 120,000以上のラベル付き合成画像の2つのセットを生成しました。
生成されたデータは、オブジェクトの位置、ライティング、シャドウのようなものをランダム化して、よりダイナミックな環境で動作する能力をロボットに与えます。