論文の概要: EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence
- arxiv url: http://arxiv.org/abs/2609.19659v1
- Date: Thu, 17 Sep 2026 03:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.094665
- Title: EmbodiedMind: Adaptive Data Curation and Prefix-Tree Reinforcement Learning for Efficient Embodied Intelligence
- Title（参考訳）: EmbodiedMind:効率的な身体情報のための適応型データキュレーションとプレフィックストレー強化学習
- Abstract要約: EmMindは18ベンチマークで70.02%の最先端の平均性能を達成し、長期タスク計画精度で他の実施基盤モデルよりも大幅に優れています。
- 参考スコア（独自算出の注目度）: 16.235377888683043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training embodied foundation models typically requires massive-scale datasets and extensive computational resources, yet often suffers from three critical limitations: (1) inefficient sample utilization due to low-informative samples; (2) imbalanced gradient contributions across heterogeneous tasks; and (3) severe credit assignment problem in long-horizon planning, where trajectory-level rewards indiscriminately penalize all tokens. To address these issues, we propose an efficient training paradigm that achieves state-of-the-art average performance through strategic data selection and hierarchical policy optimization. Our approach consists of three synergistic stages. First, Rejection Sampling-based Fine-Tuning (RSFT) filters out low-informative samples to establish robust behavioral priors while preventing distributional collapse. Second, Iterative Rejection GRPO (IR-GRPO) employs task-specific queues stratified by difficulty to keep datasets balanced across reinforcement learning iterations, coupled with a hybrid reward mechanism for precise cross-task feedback. Third, to enhance long-horizon task planning, we introduce Trie-GRPO, a novel reinforcement learning algorithm based on action prefix trees, which enables step-level advantage estimation. This resolves the credit assignment problem by isolating intermediate correct decisions from downstream errors, while effectively balancing exploration efficiency and depth compared to conventional search trees. As a result, EmbodiedMind achieves a state-of-the-art average performance of 70.02% across 18 benchmarks, and significantly outperforms other embodied foundation models in long-horizon task planning accuracy. Our project will be released for reproducibility.
- Abstract（参考訳）: インボディード・ファンデーション・モデルは一般に大規模なデータセットと膨大な計算資源を必要とするが、(1)低インフォーマルなサンプルによる非効率なサンプル利用、(2)不均一なタスク間の不均衡な勾配寄与、(3)長期計画における深刻な信用割当問題、(3)トラジェクティブレベルの報酬が全てのトークンを無差別に罰する。
これらの課題に対処するために,戦略的データ選択と階層的ポリシー最適化を通じて最先端の平均性能を実現する効率的なトレーニングパラダイムを提案する。
我々のアプローチは3つの相乗的な段階から成り立っている。
第一に、Rejection Smpling-based Fine-Tuning (RSFT)は、低インフォーマルなサンプルをフィルタリングして、分布崩壊を防止しつつ、頑健な振る舞いの先行性を確立する。
第2に、Iterative Rejection GRPO(IR-GRPO)では、強化学習イテレーション間でデータセットのバランスを保つのが困難であるタスク固有のキューと、正確なクロスタスクフィードバックのためのハイブリッド報酬メカニズムが採用されている。
第3に、長期タスク計画を強化するために、アクションプレフィックスツリーに基づく新しい強化学習アルゴリズムであるTrie-GRPOを導入し、ステップレベルの優位性推定を可能にする。
これにより、下流の誤りから中間的正しい決定を分離し、従来の探索木と比較して探索効率と深さを効果的にバランスさせることで、クレジット割当問題を解消する。
その結果、EmbodiedMindは18ベンチマークで70.02%の最先端平均性能を達成し、長期タスク計画精度で他の実施基盤モデルよりも大幅に優れています。
私たちのプロジェクトは再現性のためにリリースされます。
関連論文リスト
- Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR [15.310541977530455]
RLVR(Reinforcement Learning with Verifiable Rewards)は、近年の大規模推論モデルの成功の中心となっている。
RLVRはシングルサンプルの精度を大幅に改善するが、トレーニング中の限られた探索のため、本質的な推論カバレッジ(pass@k)の拡張に失敗することが多い。
列車時ロールアウトの構造設計を最適化してpass@kを拡張する。
論文 参考訳（メタデータ） (2026-09-08T12:21:22Z) - dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。
本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。
我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
論文 参考訳（メタデータ） (2026-03-19T11:55:52Z) - AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。
我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
論文 参考訳（メタデータ） (2026-02-08T10:55:03Z) - Difficulty-Estimated Policy Optimization [38.86673795561421]
推論アライメントの効率性とロバスト性を最適化する新しいフレームワークであるDifficulty-Estimated Policy Optimization (DEPO)を提案する。
提案手法は,高性能推論モデルの学習における計算障壁を大幅に減らし,推論スケーリングのためのより持続可能な経路を提供する。
論文 参考訳（メタデータ） (2026-02-06T04:12:23Z) - Verified Critical Step Optimization for LLM Agents [67.05296684575445]
クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。
メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。
GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
論文 参考訳（メタデータ） (2026-02-03T11:41:02Z) - GDEPO: Group Dual-dynamic and Equal-right-advantage Policy Optimization with Enhanced Training Data Utilization for Sample-Constrained Reinforcement Learning [14.111530312590531]
ATP(Automated Theorem Proving)は人工知能(AI)の基本課題である
我々はGDEPO(Group Dual-dynamic and Equal-right-Advantage Policy Optimization)を提案する。
GDEPOには3つのコアメカニズムがある: 1) 有効証明が見つかるまで無効なバッチを再サンプリングする動的追加サンプリング、2) 優位関数の符号をその大きさ(補助的な報酬によって変調される)から切り離して安定かつ正しいポリシー更新を保証する、3) 動的追加イテレーション、そして、最初は失敗するが、最終的にはサンプルを成功させ、挑戦的なケースでの学習を加速する。
論文 参考訳（メタデータ） (2026-01-11T07:34:41Z) - A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
リンク予測(LP)は、グラフ機械学習において重要なタスクである。
既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。
これらの課題に対処するためのソリューションとして,事前学習について検討する。
論文 参考訳（メタデータ） (2025-08-06T17:10:31Z) - Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning [15.103861901247125]
スパース環境のためのロバスト推論モデルを開発するための3段階フレームワークを提案する。
本フレームワークは,長短連鎖融合を用いた計画四元数を用いた効率的な推論をブートストラップする。
ALFWorld、ScienceWorld、WebShopの実験は、我々のアプローチがトークンの効率を著しく向上することを示す。
論文 参考訳（メタデータ） (2025-08-05T02:56:58Z) - Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。
MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。
MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
論文 参考訳（メタデータ） (2025-01-19T13:14:53Z) - A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。
我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。
私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
論文 参考訳（メタデータ） (2024-09-03T13:29:13Z) - Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。
サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文 参考訳（メタデータ） (2022-05-02T16:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。