論文の概要: SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
- arxiv url: http://arxiv.org/abs/2611.17110v1
- Date: Thu, 12 Nov 2026 17:04:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.564564
- Title: SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
- Title(参考訳): SALA: 身体的基礎モデルの2軸スケーリングを可能にする,セマンティックにアライメントされた潜在行動
- Abstract要約: 我々は,潜伏行動に対する意味対応の確立を強調するSALAを紹介する。
我々はこれらの類似性をソフトな近傍構造に翻訳し、人間の潜伏行動を意味論的に関連するロボット潜伏者へ誘導する。
得られた共有潜在行動空間は、人間とロボットのビデオの両方に具体化された基礎モデルをトレーニングするための統一された監視信号を提供する。
- 参考スコア(独自算出の注目度): 46.19788572977856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied foundation models hinge on diverse robot interaction data, which are costly to collect. Egocentric human videos offer a complementary source of experience, and latent action models (LAMs) provide a popular means of leveraging these videos for policy supervision. Compared with world-action models (WAMs), LAMs can offer greater training efficiency and potentially lower inference costs by avoiding explicit pixel prediction during policy learning and execution. However, most existing LAMs learn latent actions solely through video reconstruction, which can cause their representations to cluster by visual appearance rather than by the underlying actions. As a result, they struggle to align human actions with their robot counterparts. To bridge the gap, we introduce SALA, which emphasizes establishing the semantic correspondence for latent actions. Without requiring paired data, we use the language descriptions of unpaired human and robot clips to estimate semantic similarities and supervise cross-embodiment correspondence. Specifically, we translate these similarities into soft neighborhood structures that guide human latent actions toward semantically related robot latents, while robot action reconstruction grounds the latent space in control. The resulting shared latent action space provides a unified supervision signal for training an embodied foundation model on both human and robot videos. Notably, latent action supervision enables scaling along two axes: (1) pre-training on increasing amounts of general human video consistently reduces robot action prediction error on downstream tasks, and (2) post-training on increasing amounts of task-specific human video substantially improves real-world robot task success rates.
- Abstract(参考訳): Embodied Foundationは、さまざまなロボットのインタラクションデータに基づいてヒンジをモデル化する。
エゴセントリックなヒューマンビデオは、相補的な経験源を提供し、潜在アクションモデル(LAM)は、これらのビデオをポリシーの監督に活用する一般的な手段を提供する。
ワールドアクションモデル(WAM)と比較して、LAMは、ポリシー学習や実行中に明示的なピクセル予測を避けることにより、トレーニング効率が向上し、推論コストが低下する可能性がある。
しかし、既存のほとんどのLAMはビデオ再構成のみで潜伏動作を学習しており、それによってその表現が下層の行動よりも視覚的外観によってクラスタ化される可能性がある。
その結果、ロボットと人間の行動を結びつけるのに苦労した。
このギャップを埋めるために私たちは,潜伏行動のセマンティック対応を確立することを強調するSALAを導入する。
ペア化されたデータを必要とせず、人間とロボットのクリップの言語記述を用いて意味的類似性を推定し、相互身体的対応を監督する。
具体的には、これらの類似性を人間の潜伏動作を意味的に関連するロボット潜伏者へ誘導するソフトな近傍構造に翻訳し、ロボットの行動再構成は潜伏空間を制御している。
得られた共有潜在行動空間は、人間とロボットのビデオの両方に具体化された基礎モデルをトレーニングするための統一された監視信号を提供する。
特に、潜伏行動監視は、(1) 一般的な人間のビデオの量の事前学習は、下流のタスクにおけるロボットの動作予測誤差を一貫して減少させ、(2) タスク固有の人間のビデオの増加による後トレーニングは、現実のロボットのタスクの成功率を大幅に向上させる。
関連論文リスト
- RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions [52.064217872870806]
本稿では、RynnLAMによって導入された3Dグラウンドの潜伏動作を共用条件インタフェースとして利用する、クロス・エンボディメント・ビデオワールドモデルであるRynnWorld-Latentを紹介する。
RynnWorld-Latentは、グローバルアクショントークンと、アクションを将来のビデオラテントと整合させるID-dローカルパスを組み合わせる。
論文 参考訳(メタデータ) (2026-10-27T07:54:16Z) - AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳(メタデータ) (2026-09-16T14:07:06Z) - AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-29T12:55:15Z) - HARP-VLA: Human-Robot Aligned Representation Learning for Vision-Language-Action Model [13.153130497047043]
大規模な人間のビデオから一般化可能な視覚-言語-アクションモデルを学ぶことは有望だが、断熱的不一致のため難しい。
本稿では,人間のビデオからより効果的なVLA事前学習のための人間ロボット協調表現学習フレームワークであるHARPを提案する。
特徴可視化、シミュレーション、実世界の操作実験は、人間ロボットのアライメントと下流ポリシーのパフォーマンスを改善した。
論文 参考訳(メタデータ) (2026-05-29T12:36:30Z) - MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。
視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。
視点安定化のためにEgoStabilizerを提案する。
動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
論文 参考訳(メタデータ) (2025-09-26T11:05:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。