論文の概要: A Geometric Perspective on Visual Imitation Learning
- arxiv url: http://arxiv.org/abs/2003.02768v1
- Date: Thu, 5 Mar 2020 16:57:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 07:44:32.420136
- Title: A Geometric Perspective on Visual Imitation Learning
- Title(参考訳): 視覚模倣学習の幾何学的展望
- Authors: Jun Jin, Laura Petrich, Masood Dehghan and Martin Jagersand
- Abstract要約: 人間の監督を伴わない視覚模倣学習の問題点を考察する。
VGS-IL (Visual Geometric Skill Learning) を提案する。
- 参考スコア(独自算出の注目度): 8.904045267033258
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of visual imitation learning without human
supervision (e.g. kinesthetic teaching or teleoperation), nor access to an
interactive reinforcement learning (RL) training environment. We present a
geometric perspective to derive solutions to this problem. Specifically, we
propose VGS-IL (Visual Geometric Skill Imitation Learning), an end-to-end
geometry-parameterized task concept inference method, to infer globally
consistent geometric feature association rules from human demonstration video
frames. We show that, instead of learning actions from image pixels, learning a
geometry-parameterized task concept provides an explainable and invariant
representation across demonstrator to imitator under various environmental
settings. Moreover, such a task concept representation provides a direct link
with geometric vision based controllers (e.g. visual servoing), allowing for
efficient mapping of high-level task concepts to low-level robot actions.
- Abstract(参考訳): 視覚模倣学習の課題は,人間による指導(審美的指導や遠隔操作など)や,対話型強化学習(rl)訓練環境へのアクセスを伴わない。
この問題に対する解を導出するための幾何学的視点を示す。
具体的には、人間のデモビデオフレームから一貫した幾何学的特徴関連ルールを推論するために、エンドツーエンドの幾何学的パラメータ化タスク概念推論手法であるVGS-IL(Visual Geometric Skill Imitation Learning)を提案する。
画像画素からアクションを学習する代わりに、幾何学的パラメータ化タスクの概念を学習することで、様々な環境条件下でデモンストレータ間で説明可能で不変な表現を提供する。
さらに、このようなタスク概念表現は、幾何学的視覚ベースのコントローラ(例えば視覚サーボ)との直接リンクを提供し、高レベルのタスク概念を低レベルのロボットアクションに効率的なマッピングを可能にする。
関連論文リスト
- G-NeRF: Geometry-enhanced Novel View Synthesis from Single-View Images [45.66479596827045]
我々は,幾何誘導多視点合成手法により,幾何先行性を高めるための幾何強調型NeRF(G-NeRF)を提案する。
単一視点画像に対する多視点監視の欠如に対処するために,深度認識型トレーニングアプローチを設計する。
論文 参考訳(メタデータ) (2024-04-11T04:58:18Z) - A Closed-Loop Multi-perspective Visual Servoing Approach with
Reinforcement Learning [9.152067359388207]
我々は,新しい学習型多視点視覚サーボフレームワークについて紹介した。
本研究では,異なる視点から初期画像から最適制御ポリシーを学習できることを実証した。
論文 参考訳(メタデータ) (2023-12-25T20:46:36Z) - Graphical Object-Centric Actor-Critic [55.2480439325792]
本稿では,アクター批判とモデルに基づくアプローチを組み合わせたオブジェクト中心強化学習アルゴリズムを提案する。
変換器エンコーダを用いてオブジェクト表現とグラフニューラルネットワークを抽出し、環境のダイナミクスを近似する。
本アルゴリズムは,現状のモデルフリーアクター批判アルゴリズムよりも複雑な3次元ロボット環境と構成構造をもつ2次元環境において,より優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-10-26T06:05:12Z) - Instance-Agnostic Geometry and Contact Dynamics Learning [7.10598685240178]
この研究は、視覚を動的に融合させ、形状を学習し、軌跡をポーズさせ、幾何学を共有表現として使用することで物理的特性を学習する、インスタンスに依存しない学習フレームワークを提示している。
本研究では,視覚システムであるBundleSDFと動的システムであるContactNetsを統合し,動的モジュールからの出力を用いて視覚モジュールからのポーズや幾何学を洗練するための循環学習パイプラインを提案する。
実験は、剛体および凸体の幾何学と力学を学習し、現在の追跡フレームワークを改善するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2023-09-11T21:18:15Z) - Transformer-based model for monocular visual odometry: a video
understanding approach [0.9790236766474201]
6-Fカメラのポーズを推定するために,映像理解タスクとして単眼視計測を取り扱う。
本稿では,ビデオクリップから特徴を抽出し,その動作をエンドツーエンドに推定する,時間的自己認識機構に基づくTS-DoVOモデルを提案する。
提案手法は,KITTIビジュアル・オドメトリー・データセットを用いた幾何学的,深層学習的手法と比較して,最先端の競合性能を実現した。
論文 参考訳(メタデータ) (2023-05-10T13:11:23Z) - Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。
GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。
BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
論文 参考訳(メタデータ) (2023-04-06T14:33:05Z) - Self-Supervised Image Representation Learning with Geometric Set
Consistency [50.12720780102395]
本稿では,3次元幾何整合性に基づく自己教師付き画像表現学習法を提案する。
具体的には、画像ビュー内の特徴整合性を強化するために、コントラスト学習フレームワークに3次元幾何学的整合性を導入する。
論文 参考訳(メタデータ) (2022-03-29T08:57:33Z) - Generalizable task representation learning from human demonstration
videos: a geometric approach [4.640835690336654]
本研究では,ロボットやロボットの動きを訓練することなく,人間のデモビデオからタスク学習を一般化する問題について検討する。
本研究では,構造制約下でのタスク表現の学習にグラフ構造化タスク関数を用いたCoVGS-ILを提案する。
論文 参考訳(メタデータ) (2022-02-28T08:25:57Z) - Nothing But Geometric Constraints: A Model-Free Method for Articulated
Object Pose Estimation [89.82169646672872]
本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。
我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
論文 参考訳(メタデータ) (2020-11-30T20:46:48Z) - PackIt: A Virtual Environment for Geometric Planning [68.79816936618454]
PackItは、幾何学的計画を行う能力を評価し、潜在的に学習する仮想環境である。
進化的アルゴリズムを用いて,一組の難解なパッケージングタスクを構築した。
論文 参考訳(メタデータ) (2020-07-21T22:51:17Z) - Neural Topological SLAM for Visual Navigation [112.73876869904]
意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。
本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
論文 参考訳(メタデータ) (2020-05-25T17:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。