論文の概要: Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning

• arxiv url: http://arxiv.org/abs/2505.18487v1
• Date: Sat, 24 May 2025 03:25:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.454953
• Title: Grounding Bodily Awareness in Visual Representations for Efficient Policy Learning
• Title（参考訳）: 効果的な政策学習のための視覚表現における身体的認識
• Authors: Junlin Wang, Zhiyun Lin,
• Abstract要約: 視覚変換器(ViT)のトークンレベル表現に適用するコントラスト学習手法であるIConを提案する。 IConはエージェント固有のトークンと環境固有のトークンの間の特徴空間の分離を強制し、結果としてエージェント中心の視覚表現がボディ固有の帰納バイアスを埋め込む。 実験の結果、IConは様々な操作タスク間でポリシー性能を向上させるだけでなく、異なるロボット間でポリシー伝達を促進することがわかった。
• 参考スコア（独自算出の注目度）: 1.8810643529425775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning effective visual representations for robotic manipulation remains a fundamental challenge due to the complex body dynamics involved in action execution. In this paper, we study how visual representations that carry body-relevant cues can enable efficient policy learning for downstream robotic manipulation tasks. We present $\textbf{I}$nter-token $\textbf{Con}$trast ($\textbf{ICon}$), a contrastive learning method applied to the token-level representations of Vision Transformers (ViTs). ICon enforces a separation in the feature space between agent-specific and environment-specific tokens, resulting in agent-centric visual representations that embed body-specific inductive biases. This framework can be seamlessly integrated into end-to-end policy learning by incorporating the contrastive loss as an auxiliary objective. Our experiments show that ICon not only improves policy performance across various manipulation tasks but also facilitates policy transfer across different robots. The project website: https://github.com/HenryWJL/icon
• Abstract（参考訳）: ロボット操作のための効果的な視覚表現の学習は、アクション実行に関わる複雑な身体のダイナミクスのため、依然として根本的な課題である。 本稿では,身体関連キューを伝達する視覚表現が,下流ロボット操作タスクの効率的なポリシー学習を実現する方法について検討する。 視覚変換器(ViTs)のトークンレベル表現に適用した対照的な学習法である,$\textbf{I}$nter-token $\textbf{Con}$trast ($\textbf{ICon}$)を提案する。 IConはエージェント固有のトークンと環境固有のトークンの間の特徴空間の分離を強制し、結果としてエージェント中心の視覚表現がボディ固有の帰納バイアスを埋め込む。 このフレームワークは、対照的な損失を補助目的として組み込むことで、エンドツーエンドの政策学習にシームレスに統合することができる。 実験の結果、IConは様々な操作タスク間でポリシー性能を向上させるだけでなく、異なるロボット間でポリシー伝達を促進することがわかった。 プロジェクトのWebサイト: https://github.com/HenryWJL/icon

関連論文リスト

• Zero-Shot Visual Generalization in Robot Manipulation [0.13280779791485384]
  現在のアプローチは、しばしば点雲や深さのような不変表現に頼ることで問題を横取りする。 ディアングル型表現学習は、視覚的分布シフトに対して、視覚に基づく強化学習ポリシーを堅牢化できることを最近示した。 シミュレーションおよび実ハードウェア上での視覚摂動に対するゼロショット適応性を示す。
  論文  参考訳（メタデータ） (2025-05-16T22:01:46Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects [18.342569823885864]
  TAPG(Teacher-Augmented Policy Gradient)は、強化学習と政策蒸留を統括する新しい2段階学習フレームワークである。 TAPGは、オブジェクトセグメンテーションに基づいて、誘導的かつ適応的でありながら、センセータポリシーの学習を促進する。 トレーニングされたポリシーは、シミュレーションにおける散らかったシナリオや、人間の理解可能なプロンプトに基づいて現実世界から、多種多様なオブジェクトを順応的に把握する。
  論文  参考訳（メタデータ） (2024-03-15T10:48:16Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning [60.91637862768949]
  強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。 M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。 視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
  論文  参考訳（メタデータ） (2023-11-02T01:33:00Z)
• Human-oriented Representation Learning for Robotic Manipulation [64.59499047836637]
  人間は本質的に、操作作業において環境を効率的に探索し、相互作用することを可能にする、一般化可能な視覚表現を持っている。 我々は、このアイデアを、事前訓練された視覚エンコーダの上に、人間指向のマルチタスク微調整のレンズを通してフォーマル化する。 我々のタスクフュージョンデコーダは、下流操作ポリシー学習のための最先端の3つのビジュアルエンコーダの表現を一貫して改善する。
  論文  参考訳（メタデータ） (2023-10-04T17:59:38Z)
• Enhancing Interpretability and Interactivity in Robot Manipulation: A Neurosymbolic Approach [0.0]
  本稿では,言語誘導型視覚推論とロボット操作を結合したニューロシンボリックアーキテクチャを提案する。 非熟練の人間ユーザは、制約のない自然言語を用いてロボットに刺激を与え、参照表現(REF)、質問(VQA)、把握動作指示を提供する。 シミュレーション環境では,3次元視覚と言語によるテーブルトップシーンの合成データセットを作成し,我々のアプローチを訓練し,合成シーンと実世界のシーンの両方で広範な評価を行う。
  論文  参考訳（メタデータ） (2022-10-03T12:21:45Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。