論文の概要: On the Utility of Pre-Trained Visual Representations for Policy Learning of Contact-Rich Insertion Tasks
- arxiv url: http://arxiv.org/abs/2611.17631v1
- Date: Fri, 13 Nov 2026 01:02:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.285932
- Title: On the Utility of Pre-Trained Visual Representations for Policy Learning of Contact-Rich Insertion Tasks
- Title(参考訳): コンタクトリッチ挿入タスクのポリシー学習のための事前学習型視覚表現の有用性について
- Abstract要約: 既存の研究は、広いがまばらなタスク分布にまたがって、異なる結論に達し、矛盾さえもする。
本稿では,一般的なコンタクトリッチな操作課題である挿入作業に虫眼鏡を組み込むことにより,この問題を考察する。
広義の視覚基礎モデルから得られた表現と、2つの密接に関連する挿入タスクにおける明示的な接触中心の表現を比較した。
- 参考スコア(独自算出の注目度): 29.7120228308617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visuomotor imitation learning has become a predominant paradigm for real-world robotic manipulation, yet it remains data-inefficient and brittle to task-irrelevant visual shifts. Pre-trained visual representations promise to ease this burden by distilling priors from internet-scale data, but the ``right'' representation for robotics remains unresolved: existing studies span broad but sparse task distributions and reach conclusions that vary and even conflict, pointing to strong task and setting dependence. We examine this question by bringing a magnifying glass to a common contact-rich manipulation task: insertion. We compare representations from widely used vision foundation models against an explicit contact-centric representation on two closely related insertion tasks, perturb each along controlled axes of occlusion and physical tolerance, and test whether conclusions transfer to the real world. Task dependence proves to be more subtle than previous, broadly scoped evaluations revealed: the best representation differs even between our near-identical tasks, and small changes shift trends in unpredictable ways. Despite this variability, results across simulation and real-world experiments demonstrate the distinct value of spatially-grounded, and in particular, contact-centric information for contact-rich policy learning, while underscoring how difficult it is to estimate such cues reliably under realistic visual complexity and sensor noise. We hope these findings motivate further study of representations in contact-rich manipulation, along with advances in contact perception and its integration into visuomotor policy learning.
- Abstract(参考訳): 視覚運動模倣学習は、現実のロボット操作において主要なパラダイムとなっているが、データ非効率でタスク非関連の視覚シフトに弱いままである。
事前訓練された視覚的表現は、インターネット規模のデータから事前情報を抽出することで、この負担を軽減することを約束するが、ロボティクスの'right''表現は未解決のままである。
本稿では,一般的なコンタクトリッチな操作課題である挿入作業に虫眼鏡を組み込むことにより,この問題を考察する。
広範に使われている視覚基盤モデルの2つの近接した挿入タスクにおける明示的な接触中心の表現と比較し、オクルージョンと物理的寛容の制御軸に沿って摂動し、結論が現実世界に伝達されるかどうかを検証した。
タスク依存は、以前より微妙で、幅広い範囲で評価された。最高の表現は、我々のほぼ同一のタスクの間でさえ異なり、予測不可能な方法で小さな変化傾向が変化します。
このような変動性にもかかわらず、シミュレーションや実世界の実験で得られた結果は、空間的に接地された、特に接触に富んだ政策学習のための接触中心情報の価値を、現実的な視覚的複雑さとセンサーノイズの下で確実に推定することがいかに困難であるかを実証している。
これらの知見は、コンタクトリッチな操作における表現のさらなる研究と、コンタクト認識の進歩と、ビジュモータ政策学習への統合の動機となることを願っている。
関連論文リスト
- Evaluating Tactile Foundation Models for End-to-End Imitation Learning in Contact-Rich Manipulation [2.9664415451015373]
触覚は、コンタクトリッチな操作のための模倣学習において重要な役割を担っている。
いくつかの触覚基礎モデル (TFM) が事前学習を通じて汎用的な触覚表現を学習するために提案されている。
共同実験環境下でのコンタクトリッチ操作の有効性を系統的に評価した。
論文 参考訳(メタデータ) (2026-10-31T14:00:22Z) - Multimodal Visual-Tactile Representation Learning through
Self-Supervised Contrastive Pre-Training [0.850206009406913]
MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。
両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
論文 参考訳(メタデータ) (2024-01-22T15:11:57Z) - Invariance is Key to Generalization: Examining the Role of
Representation in Sim-to-Real Transfer for Visual Navigation [35.01394611106655]
一般化の鍵は、すべてのタスク関連情報をキャプチャするのに十分なリッチな表現である。
このような視覚ナビゲーションの表現を実験的に研究する。
我々の表現は、トレーニングドメインとテストドメイン間のA距離を減少させる。
論文 参考訳(メタデータ) (2023-10-23T15:15:19Z) - Leveraging sparse and shared feature activations for disentangled
representation learning [112.22699167017471]
本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。
我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
論文 参考訳(メタデータ) (2023-04-17T01:33:24Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - Visual Adversarial Imitation Learning using Variational Models [60.69745540036375]
逆関数仕様は、深い強化学習を通しての学習行動にとって大きな障害であり続けている。
望ましい行動の視覚的なデモンストレーションは、エージェントを教えるためのより簡単で自然な方法を示すことが多い。
変動モデルに基づく対向的模倣学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2021-07-16T00:15:18Z) - Seeing Differently, Acting Similarly: Imitation Learning with
Heterogeneous Observations [126.78199124026398]
多くの実世界の模倣学習タスクでは、デモレーターと学習者は異なるが完全な観察空間で行動しなければならない。
本研究では、上記の学習問題を異種観察学習(HOIL)としてモデル化する。
本稿では,重要度重み付け,拒否学習,アクティブクエリに基づくIWREアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-17T05:44:04Z) - Exploring Visual Engagement Signals for Representation Learning [56.962033268934015]
VisEは、クラスタ化されたエンゲージメント信号から派生した擬似ラベルにソーシャルイメージをマップする弱い教師付き学習アプローチである。
この方法でトレーニングされたモデルが、感情認識や政治的バイアス検出といった主観的なコンピュータビジョンタスクにどのように役立つかを研究する。
論文 参考訳(メタデータ) (2021-04-15T20:50:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。