論文の概要: WLA$^3$: World Latent Action Modeling for Semantics, Dynamics, and Kinematics
- arxiv url: http://arxiv.org/abs/2609.15870v1
- Date: Mon, 14 Sep 2026 16:59:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.521641
- Title: WLA$^3$: World Latent Action Modeling for Semantics, Dynamics, and Kinematics
- Title（参考訳）: WLA$^3$: World Latent Action Modeling for Semantics, Dynamics, and Kiinematics
- Abstract要約: WLA$3$ (World Latent Action Modeling for Semantics, Dynamics, and Kinematics)は、統一的なジェネラリストポリシーモデルフレームワークである。
WLA$3$は、世界潜在アクションモデル(WLAM)が、セマンティクス、ダイナミクス、キネマティクスで学んだ表現を再利用する。
LaryBenchでは、最後の32D遅延アクションは67.89%の平均的な分類精度に達する。
- 参考スコア（独自算出の注目度）: 33.75014442121971
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling generalist policy models with heterogeneous data is limited by the lack of unified, low-noise action supervision. Human egocentric videos are abundant, but only a small fraction comes with high-quality hand-action labels. Observed world transitions offer a common source of action-related supervision across data sources. We introduce WLA$^3$ (World Latent Action Modeling for Semantics, Dynamics, and Kinematics), a unified generalist policy model framework built around representations learned by a World Latent Action Model (WLAM). WLAM first learns how multimodal world states change over a local interval, encoding synchronized camera views and available embodiment-state changes into a compact local latent action and a richer transition feature. Reconstruction from partial modalities and consistency across overlapping windows encourage robust transition representations. WLA$^3$ reuses them across semantics, dynamics, and kinematics: local latent actions support action-sensitive physical-dynamics modeling, segment-level features directly supervise the VLM through a Semantic Latent Aggregate (SLA), and an action expert jointly predicts latent actions together with embodiment-specific robot controls. Human videos provide scalable transition supervision, while robot trajectories ground the shared representation in executable native controls. On LARYBench, the final 32D latent action reaches 67.89\% average classification accuracy. WLA$^3$ achieves 81.9% average success across six real-robot tasks versus 66.2% for $π_{0.5}$. Performance improves as generalist policy model mid-training data scales, and human videos support human-to-robot transfer. Project page can be found at https://wla-3.github.io/.
- Abstract（参考訳）: ヘテロジニアスデータを用いた一般政策モデルのスケーリングは、統一的で低ノイズな行動監視の欠如によって制限される。
人間の自我中心の動画は豊富だが、高品質のハンドアクションラベルが付いているのはごくわずかだ。
観測された世界遷移は、データソース間でのアクション関連監視の共通のソースを提供する。
WLA$^3$(World Latent Action Modeling for Semantics, Dynamics, and Kinematics)は、WLAM(World Latent Action Model)によって学習された表現を中心に構築された、統一的な汎用的なポリシーモデルフレームワークである。
WLAMはまず、マルチモーダル世界状態が局所的な間隔でどのように変化するかを学び、同期カメラビューを符号化し、利用可能なエンボディメント状態がコンパクトな局所潜在アクションとよりリッチな遷移機能に変化する。
部分モダリティと重なり合うウィンドウ間の整合性からの再構成は、堅牢な遷移表現を促進する。
WLA$^3$は、セマンティクス、ダイナミクス、キネマティクスにまたがってそれらを再利用する: 局所ラテントアクションはアクション感受性の物理力学モデリングをサポートし、セグメントレベルの機能はセマンティクスラテントアグリゲート(SLA)を介して直接VLMを監督し、アクションエキスパートは、エンボディメント固有のロボット制御とともにラテントアクションを共同で予測する。
ヒューマンビデオはスケーラブルなトランジション監視を提供するが、ロボットトラジェクトリは、実行可能なネイティブコントロールで共有表現を基盤とする。
LaryBenchでは、最後の32D遅延アクションは平均分類精度67.89\%に達する。
WLA$^3$は6つの実ロボットタスクで平均81.9%の成功を達成するが、$π_{0.5}$は66.2%である。
一般的なポリシーモデルであるトレーニング中のデータスケールのパフォーマンスが向上し、ヒューマンビデオは人間とロボットの移動をサポートする。
プロジェクトページはhttps://wla-3.github.io/にある。
関連論文リスト
- Hydra-0: Action Flow for Generalist World Modeling and Control [64.88849745875753]
Hydra-0はアクションフローを条件とした世界モデルであり、ロボットの動きをピクセルの動きとして表現している。
我々の最良の構成は、90.4%のロボットモーションエラー、60.2%のオブジェクトモーションエラーを達成する。
訓練されたアクションヘッドは、タスク固有の専門家ロボットのデモンストレーションを必要とせずに、得られた潜在機能を実行可能なアクションにマッピングする。
論文 参考訳（メタデータ） (2026-08-18T17:59:30Z) - ABot-M0.5: Unified Mobility-and-Manipulation World Action Model [27.262271208923995]
ABot-M0.5は、モバイル操作には時間的粒度、アクションスペース、列車-テスト整合性の3段階のアライメントが必要であるという洞察に基づいて構築されている。
モバイルおよびきめ細かい操作ベンチマークの実験により、ABot-M0.5は、長距離タスクの成功ときめ細かい制御精度の両方において最先端の性能を達成することが示された。
論文 参考訳（メタデータ） (2026-07-01T09:21:20Z) - MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation [17.392786435444062]
我々は,1台の自家用カメラから自律型ヒューマノイドロコマニピュレーションを駆動するリアルタイムWAMであるMotionWAMを紹介する。
3段階の学習フレームワークは、ビデオワールドモデルをエゴセントリックな視覚力学に徐々に適応させる。
論文 参考訳（メタデータ） (2026-06-08T08:50:14Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳（メタデータ） (2026-05-13T11:58:02Z) - MotuBrain: An Advanced World Action Model for Robot Control [23.733029557644354]
We present MotuBrain, a unified World Action Model that jointly model video and action under a UniDiffuser formulation。
単一のモデルは、ポリシー学習、世界モデリング、ビデオ生成、逆ダイナミクス、共同ビデオアクション予測をサポートする。
Motus上に構築されているMotuBrainは、言語と相互作用の結合を強くするための独立したテキストストリームである、統一されたマルチビューモデリングも導入している。
我々の推論スタックは、ステップの削減、コンパイル、FP8量子化、DiTキャッシュ、V2Aスタイルのアクション専用推論、リアルタイムチャンククループ実行を組み合わせたものです。
論文 参考訳（メタデータ） (2026-04-30T12:34:44Z) - TC-IDM: Grounding Video Generation for Executable Zero-shot Robot Motion [38.88993836311246]
ジェネレーティブワールドモデルは、汎用的なエンボディAIに代わる有望な選択肢を提供する。
視覚計画と身体制御のギャップを埋めるツール中心逆ダイナミクスモデル(TC-IDM)を提案する。
実世界の評価では、TC-IDMを用いた世界モデルの平均成功率は61.11パーセント、単純タスクは77.7%、ゼロショット変形可能なオブジェクトタスクは38.66%である。
論文 参考訳（メタデータ） (2026-01-26T10:06:56Z) - FLARE: Robot Learning with Implicit World Modeling [87.81846091038676]
$textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。
$textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。
この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
論文 参考訳（メタデータ） (2025-05-21T15:33:27Z) - Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。
Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。
Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
論文 参考訳（メタデータ） (2025-03-25T15:19:56Z) - HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。
階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
論文 参考訳（メタデータ） (2025-02-08T07:50:22Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳（メタデータ） (2024-10-21T12:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。