論文の概要: Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision

• arxiv url: http://arxiv.org/abs/2609.19846v1
• Date: Thu, 17 Sep 2026 07:55:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.157794
• Title: Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision
• Title（参考訳）: 動作相似性スーパービジョンを用いた潜在行動モデルにおけるクロス・エボディメント伝達の改善
• Abstract要約: 潜在アクションモデル(LAM)は、エンボディメント間で共有可能なアクションフリービデオから潜在アクションを学ぶことによって、両方の問題に対処する。 我々は,同一ラベルの異なる使用法について,行動相似性監視を通じて検討する。 2つの潜伏動作の類似性は、2つの接地型ロボット動作シーケンスの類似性に適合するように訓練される。
• 参考スコア（独自算出の注目度）: 37.64964901532277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As generalist robot policies gain vision and language from web-scale pretraining, demonstrations remain costly to collect and tied to the robot that recorded them. Latent action models (LAMs) address both by learning latent actions from action-free videos that can be shared across embodiments, however, in practice, LAMs are sensitive to background visual noise, and the same motion from two different robots may be encoded with different latents. One solution to the background visual noise is to add an auxiliary loss predicting the robot action from the latent action, further associating the latent action space to the embodiment specific robot action space. We study a different use of the same labels, through action-similarity supervision. The similarity between any two latent actions is trained to match the similarity of the two ground-truth robot action sequences. The ground-truth actions are never predicted by the LAM, so the latent action does not need to encode embodiment specifics. We evaluate cross-embodiment transfer on RoboTwin 2.0 in a controlled setup, two bimanual robots demonstrate disjoint task sets, a policy is trained on all the demonstrations, and each robot is evaluated closed-loop on the tasks only the other demonstrated. With the policy architecture and its hyperparameters, the dataset, and the evaluation protocol fixed, predicting latent actions instead of ground-truth actions more than doubles cross-embodiment success. Given the same ground-truth actions, similarity supervision transfers better than an auxiliary loss that predicts the ground-truth action during the LAM training. Computing the similarities on end-effector motion rather than joint-space motion, and letting the loss compare latent actions across the two robots, gives the best approach of the study.
• Abstract（参考訳）: 一般論的なロボットポリシーは、Webスケールの事前訓練から視覚と言語を得るため、それらを記録したロボットの収集と縛り付けにはコストがかかる。 ラテントアクションモデル(LAM)は、エボディメント間で共有できるアクションフリービデオから潜時アクションを学習することの両方に対処するが、実際には、LAMは背景の視覚ノイズに敏感であり、2つの異なるロボットからの同じ動きは、異なるラテントでエンコードされる可能性がある。 背景の視覚ノイズに対する解決策の1つは、潜伏動作からロボット動作を予測する補助的損失を追加し、さらに潜伏動作空間をエンボディメント固有のロボット動作空間に関連付けることである。 我々は,同一ラベルの異なる使用法について,行動相似性監視を通じて検討する。 2つの潜伏動作の類似性は、2つの接地型ロボット動作シーケンスの類似性に適合するように訓練される。 接地真理作用はLAMによって予測されないので、潜伏作用はエンコードする必要はない。 制御された設定でRoboTwin 2.0上でのクロス・エボディメント・トランスファーを評価し、2つのロボットが非結合なタスクセットを示し、すべてのデモに対してポリシーを訓練し、各ロボットが他のタスクのみをクローズループで評価する。 ポリシーアーキテクチャとそのハイパーパラメーター、データセット、および評価プロトコルが固定され、地道的なアクションではなく、潜時的なアクションを予測することで、クロスエボデーメントの成功が2倍になる。 同一の地道的行動が与えられた場合、類似性監視はLAM訓練中の地道的行動を予測する補助的損失よりも優れている。 共同作業ではなく、エンドエフェクターの動きの類似性を計算し、2つのロボット間の遅延動作を比較することで、この研究の最良のアプローチが得られます。

関連論文リスト

• Hydra-0: Action Flow for Generalist World Modeling and Control [64.88849745875753]
  Hydra-0はアクションフローを条件とした世界モデルであり、ロボットの動きをピクセルの動きとして表現している。 我々の最良の構成は、90.4%のロボットモーションエラー、60.2%のオブジェクトモーションエラーを達成する。 訓練されたアクションヘッドは、タスク固有の専門家ロボットのデモンストレーションを必要とせずに、得られた潜在機能を実行可能なアクションにマッピングする。
  論文  参考訳（メタデータ） (2026-08-18T17:59:30Z)
• WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
  WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。 WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
  論文  参考訳（メタデータ） (2026-07-13T11:02:04Z)
• SPACE: Enabling Learning from Cross-Robot Data Toward Generalist Policies [20.583080585659513]
  状態予測および適応コマンド実行(SPACE)フレームワークを紹介する。 SPACEは、異なる実施形態、同じ実施形態のハードウェアユニット、操作中の1つのロボット内での3段階のロボットダイナミクスの変動を処理します。 実験により、SPACEは異なる実施形態および同じ実施形態のハードウェアユニット間で収集されたデータから学習する際に、制御コマンドを直接予測するポリシーを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2026-06-23T01:32:40Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• ViPRA: Video Prediction for Robot Actions [33.310474967770894]
  我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。 アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。 下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
  論文  参考訳（メタデータ） (2025-11-11T01:33:03Z)
• Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration [58.4036440289082]
  ハンドオブジェクトモーションキャプチャ(MoCap)は、大規模でコンタクトに富んだデモと、器用なロボットスコープの約束を提供する。 Dexploreは、リポジトリとトラッキングを実行し、MoCapから直接ロボット制御ポリシーを学習する、統一された単一ループ最適化である。
  論文  参考訳（メタデータ） (2025-09-11T17:59:07Z)
• DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy [33.18108154271181]
  ロボットが自然環境下で操作タスクを実行できるシンプルでスケーラブルな方法であるDemoDiffusionを提案する。 まず、人間の実演における手の動きは、ロボットのエンドエフェクター軌道に有用な事前情報を提供する。 第二に、この再ターゲティングされた動きはタスクの全体構造をキャプチャするが、コンテキスト内でのもっともらしいロボットの動作とうまく一致しないかもしれない。
  論文  参考訳（メタデータ） (2025-06-25T17:59:01Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。