論文の概要: FLARE: Robot Learning with Implicit World Modeling
- arxiv url: http://arxiv.org/abs/2505.15659v1
- Date: Wed, 21 May 2025 15:33:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.745197
- Title: FLARE: Robot Learning with Implicit World Modeling
- Title(参考訳): FLARE: 意図しない世界モデリングによるロボット学習
- Abstract要約: $textbfFLARE$は、予測潜在世界モデリングをロボットポリシー学習に統合する。
$textbfFLARE$は最先端のパフォーマンスを実現し、これまでのポリシー学習のベースラインを最大26%上回っている。
この結果は、暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的でスケーラブルなアプローチとして$textbfFLARE$を確立した。
- 参考スコア(独自算出の注目度): 87.81846091038676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce $\textbf{F}$uture $\textbf{LA}$tent $\textbf{RE}$presentation Alignment ($\textbf{FLARE}$), a novel framework that integrates predictive latent world modeling into robot policy learning. By aligning features from a diffusion transformer with latent embeddings of future observations, $\textbf{FLARE}$ enables a diffusion transformer policy to anticipate latent representations of future observations, allowing it to reason about long-term consequences while generating actions. Remarkably lightweight, $\textbf{FLARE}$ requires only minimal architectural modifications -- adding a few tokens to standard vision-language-action (VLA) models -- yet delivers substantial performance gains. Across two challenging multitask simulation imitation learning benchmarks spanning single-arm and humanoid tabletop manipulation, $\textbf{FLARE}$ achieves state-of-the-art performance, outperforming prior policy learning baselines by up to 26%. Moreover, $\textbf{FLARE}$ unlocks the ability to co-train with human egocentric video demonstrations without action labels, significantly boosting policy generalization to a novel object with unseen geometry with as few as a single robot demonstration. Our results establish $\textbf{FLARE}$ as a general and scalable approach for combining implicit world modeling with high-frequency robotic control.
- Abstract(参考訳): 我々は、予測潜在世界モデリングをロボットポリシー学習に統合する新しいフレームワークである、$\textbf{F}$uture $\textbf{LA}$tent $\textbf{RE}$presentation Alignment$\textbf{FLARE}$を紹介した。
$\textbf{FLARE}$ は拡散変圧器の機能を将来の観測の潜時埋め込みに合わせることで、将来の観測の潜時表現を予測できる拡散変圧器のポリシーを可能にし、アクションを生成しながら長期的な結果の推論を可能にする。
注目すべきは、$\textbf{FLARE}$は、最小限のアーキテクチャ修正 -- 標準的なビジョン言語アクション(VLA)モデルにいくつかのトークンを追加する -- を必要とするが、大幅なパフォーマンス向上をもたらす。
シングルアームとヒューマノイドテーブルトップ操作にまたがる2つの挑戦的なマルチタスクシミュレーションの模倣学習ベンチマーク、$\textbf{FLARE}$は最先端のパフォーマンスを達成し、事前ポリシー学習のベースラインを最大26%上回っている。
さらに、$\textbf{FLARE}$は、アクションラベルを使わずに人間中心のビデオデモと共同トレーニングする機能をアンロックし、単一のロボットデモに限らず、目に見えない幾何学を持つ新しいオブジェクトへのポリシーの一般化を著しく促進する。
この結果は,暗黙の世界モデリングと高周波ロボット制御を組み合わせた汎用的かつスケーラブルなアプローチとして$\textbf{FLARE}$を確立した。
関連論文リスト
- GaussianDream++: Efficient 3D Gaussian World Modeling for Robotic Manipulation [55.47130289185285]
VLA(Vision-Language-Action)ポリシーは、高度な言語条件のロボット操作である。
我々は textbfWorld State Tokens と textbfWorld Prediction Tokens を VLA バックボーンに直接挿入する,コンパクトでポリシーネイティブな拡張である textbfMethodname を提示する。
論文 参考訳(メタデータ) (2026-08-26T11:41:55Z) - LeapBot-WA: World-Anchor Action Models via Predictive Latent Alignments [41.26480439505561]
世界行動モデル(WAM)は、インテリジェンスを具現化する強力なパラダイムとして登場した。
モデルにタスク非関連の視覚的詳細を再構築させると、表現能力が低下し、視覚的邪魔者に対して脆弱なポリシーが現れる。
本稿では,JEPA(Joint-Embedding Predictive Architecture)をワールドアンカーとして運用することで,WAMの新たな予測-遅延パラダイムを確立するLeapBot-WAを提案する。
論文 参考訳(メタデータ) (2026-07-27T03:36:45Z) - ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation [6.976481623762446]
textttReactVLAは、リアルタイムロボット操作のための軽量で低レイテンシなVLAフレームワークである。
textttReactVLAは、同じサイズのVLAベースラインを一貫して上回る。
現実世界のポリシーのレイテンシを38.6ミリ秒以下に短縮し、物理ロボットプラットフォームでの高速な反応性制御を可能にする。
論文 参考訳(メタデータ) (2026-06-12T08:33:37Z) - WEAVER, Better, Faster, Longer: An Effective World Model for Robotic Manipulation [26.48387646424999]
WEAVER(World Estimation Across Views for Embodied Reasoning)は、3つのデシラタを同時に実現するWMアーキテクチャである。
WEAVERをロボットハードウェアに適用し、政策評価、政策改善、テストタイム計画においてその効果を実証する。
論文 参考訳(メタデータ) (2026-06-11T17:59:15Z) - $τ_0$-WM: A Unified Video-Action World Model for Robotic Manipulation [45.040666672458634]
政策学習,映像予測,行動評価を統合した統合ビデオアクション世界モデルを提案する。
このモデルは、実際のロボット遠隔操作で約27,300ドル(約2万2000円)で訓練されている。
論文 参考訳(メタデータ) (2026-05-31T05:35:36Z) - DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。
メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。
EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文 参考訳(メタデータ) (2026-04-13T03:19:36Z) - Self-Improving World Modelling with Latent Actions [53.93276450137471]
世界の内部モデリングは推論と計画に不可欠である。
状態のみのシーケンスから学習する自己改善フレームワークSWIRLを提案する。
論文 参考訳(メタデータ) (2026-02-05T19:04:41Z) - A4-Agent: An Agentic Framework for Zero-Shot Affordance Reasoning [29.682282730123234]
言語命令に基づいてオブジェクト上のインタラクション領域を識別するアクダクタンス予測は、AIの具体化に不可欠である。
A4-Agentは,アベイランス予測を3段階のパイプラインに分離する,トレーニングフリーのエージェントフレームワークである。
我々のフレームワークは、複数のベンチマークで最先端の教師付きメソッドよりも大幅に優れています。
論文 参考訳(メタデータ) (2025-12-16T14:27:47Z) - H$^3$DP: Triply-Hierarchical Diffusion Policy for Visuomotor Learning [25.65324419553667]
我々は,視覚的特徴と行動生成の統合を強化するために,階層構造を明示的に組み込んだ新しいビジュモータ学習フレームワークである$textbfTriply-Hierarchical Diffusion Policy(textbfH$mathbf3$DP)を紹介した。
大規模な実験では、H$3$DPは$mathbf+27.5%の平均相対的な改善を$mathbf44$のシミュレーションタスクで達成し、$mathbf4$の挑戦的な実世界の操作タスクで優れたパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-05-12T17:59:43Z) - $π_{0.5}$: a Vision-Language-Action Model with Open-World Generalization [81.73746512639283]
広義の一般化を実現するために異種タスクのコトレーニングを利用する$pi_0.5$に基づく新しいモデルについて述べる。
本研究では,エンド・ツー・エンドの学習支援ロボットシステムが,長期的かつ巧妙な操作能力を発揮することを初めて実証する。
論文 参考訳(メタデータ) (2025-04-22T17:31:29Z) - HAMSTER: Hierarchical Action Models For Open-World Robot Manipulation [54.03004125910057]
階層型視覚-言語-アクションモデルは、標準的なモノリシックVLAモデルよりも、ドメイン外のデータを利用するのに効果的であることを示す。
階層設計により、高レベルなVLMは、オフドメイン微調整データと実ロボットテストシナリオの間の重要なドメインギャップをまたいで転送可能であることを示す。
論文 参考訳(メタデータ) (2025-02-08T07:50:22Z) - Robot Instance Segmentation with Few Annotations for Grasping [10.005879464111915]
セミスーパーバイザードラーニング(SSL)とラーニング・スルー・インタラクション(LTI)を組み合わせた新しいフレームワークを提案する。
提案手法は,自己スーパービジョンによる注釈付きデータを利用して,ラベルのない静止画像から生成された擬似シーケンスを用いて時間的コンテキストを組み込む。
本手法をARMBenchmix-object-toteとOCIDの2つのベンチマークで検証し,最先端性能を実現する。
論文 参考訳(メタデータ) (2024-07-01T13:58:32Z) - STORM: Efficient Stochastic Transformer based World Models for
Reinforcement Learning [82.03481509373037]
近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。
本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。
Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
論文 参考訳(メタデータ) (2023-10-14T16:42:02Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。
中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。
i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
論文 参考訳(メタデータ) (2020-10-11T01:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。