論文の概要: From Failures to Learnable Worlds: Policy-Conditioned Environment Generation for Navigation Agents

• arxiv url: http://arxiv.org/abs/2610.19420v1
• Date: Wed, 14 Oct 2026 02:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.896793
• Title: From Failures to Learnable Worlds: Policy-Conditioned Environment Generation for Navigation Agents
• Title（参考訳）: 失敗から学習可能な世界へ:ナビゲーションエージェントのためのポリシーに基づく環境生成
• Abstract要約: WEDGEは弱いナビゲーション学習のためのフレームワークである。 ポリシーは、異なるトレーニング環境の利点と、異なる弱点のプロファイルを示す。
• 参考スコア（独自算出の注目度）: 58.2912265768154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulated environments enable scalable training data generation for embodied agents, but more data does not necessarily provide what a particular agent needs to learn. Existing environment-generation pipelines largely optimize generic properties such as realism, diversity, or task coverage, while different pretrained policies can fail for different environmental reasons. We therefore introduce WEDGE, a framework for weakness-guided navigation learning in which the failure modes of a pretrained agent guide the generation of training environments at each adaptation round. Given a pretrained policy, WEDGE uses an LLM to propose executable weakness features from contrasting successful and failed rollouts, automatically validates them on the diagnostic set, and selects the strongest validated weakness based on its success-rate gap. The validated weaknesses are then mapped to the environmental factors that control them. WEDGE varies these factors to construct environments in the difficulty regimes where the policy struggles, producing targeted training experience for adaptation. Across three navigation agents with different adaptation mechanisms, we find that policies exhibit distinct weakness profiles and benefit from different training environments. Weakness-conditioned adaptation consistently outperforms matched random and hard-example alternatives on ProcTHOR, while the resulting gains for Uni-NaVid and Gemini also extend to HM3D after ProcTHOR adaptation. Iterative re-diagnosis further shows that dominant weaknesses can persist or shift as the policy improves, providing updated guidance for subsequent environment construction. Together, these results show that policy failures are not only diagnostic signals, but actionable guidance for constructing training environments that target a policy's current weaknesses.
• Abstract（参考訳）: シミュレーション環境は、エンボディエージェントのためのスケーラブルなトレーニングデータ生成を可能にするが、より多くのデータが、特定のエージェントが学習する必要があるものを提供するとは限らない。 既存の環境生成パイプラインは、リアリズム、多様性、タスクカバレッジといった一般的な特性を最適化している。 そこで我々は,WEDGEを導入した。WEDGEは弱誘導ナビゲーション学習のフレームワークで,事前学習エージェントの障害モードが各適応ラウンドでのトレーニング環境の生成をガイドする。 事前訓練されたポリシーが与えられた後、WEDGEはLSMを使用して、成功と失敗したロールアウトの対比から実行可能な弱点を提案し、診断セットでそれらを自動的に検証し、その成功率のギャップに基づいて最強の弱点を選択する。 検証された弱点は、それらを制御する環境要因にマップされる。 WEDGEはこれらの要因を、政策が苦しむ困難な体制の中で環境を構築するために変化させ、適応のための目標となる訓練経験を生み出す。 異なる適応機構を持つ3つのナビゲーションエージェント間で、ポリシーは異なる弱点のプロファイルを示し、異なるトレーニング環境から恩恵を受ける。 弱み条件付き適応はProcTHOR上のランダムおよびハードサンプルの代替よりも一貫して優れており、Uni-NaVidとGeminiはProcTHOR適応後にHM3Dにまで拡張された。 反復的再診断は、政策が改善するにつれて支配的な弱点が持続またはシフトし、その後の環境構築のための新たなガイダンスを提供することを示している。 これらの結果は、政策失敗は診断信号だけではなく、政策の現在の弱点を標的としたトレーニング環境を構築するための実用的なガイダンスであることを示している。

関連論文リスト

• When Successful Strategies Fail: Adaptation to Environmental Novelty in Terminal Agents [25.234455147495524]
  LLMエージェントは、環境と自律的に相互作用することで、より長い水平タスクを解決する。 環境のノベルティを通して,この適応能力について検討する。 我々は、軌道関連仮定を抽出し、対象とする環境変化を注入する自動パイプラインAGNIを導入し、その結果の新規タスクが解決可能であることを検証した。
  論文  参考訳（メタデータ） (2026-09-27T19:47:43Z)
• SEAL: Synergistic Co-Evolution of Agents and Learning Environments [11.720414165425256]
  大きな言語モデル(LLM)エージェントは、インタラクションによってますます改善されている。 ほとんどの自己進化的手法は、政策または学習環境を独立に適応させる。 対話型ツール利用エージェントのためのクローズドループ共進化フレームワークSEALを提案する。
  論文  参考訳（メタデータ） (2026-05-23T06:41:31Z)
• Can RL Improve Generalization of LLM Agents? An Empirical Study [68.19349692042341]
  Reinforcement Fine-tuning (RFT) は環境フィードバックに基づいてマルチターン意思決定を行うための LLM エージェントの訓練を約束している。 現実世界のデプロイメントでは、エージェントは異なるバックグラウンド知識を持つ見えない環境で動作することができる。 RFTは環境内のタスクの難易度でよく一般化されるが、見えない環境へのより弱い移動を示す。
  論文  参考訳（メタデータ） (2026-03-12T14:54:59Z)
• DRED: Zero-Shot Transfer in Reinforcement Learning via Data-Regularised Environment Design [11.922951794283168]
  本研究では,RLエージェントのゼロショット一般化能力(ZSG)に,個々の環境インスタンスやレベルのサンプリングがどう影響するかを検討する。 基本層を共有する深いアクター・クリティカルなアーキテクチャでは, エージェントの内部表現と, 生成したトレーニングデータのトレーニングレベルとの相互情報を最小限に抑える。 既存のUED手法は,ZSG性能の低いトレーニング分布を著しくシフトできることがわかった。 オーバーフィッティングと分散シフトの両面を防止するため,データ正規化環境設計(D)を導入する。
  論文  参考訳（メタデータ） (2024-02-05T19:47:45Z)
• Distributionally Adaptive Meta Reinforcement Learning [85.17284589483536]
  テスト時間分布シフトの下で適切に振る舞うメタRLアルゴリズムのフレームワークを開発する。 我々の枠組みは、分布のロバスト性に対する適応的なアプローチを中心とし、様々なレベルの分布シフトに対してロバストであるようメタポリスの人口を訓練する。 本研究は, 分散シフト下での後悔を改善するための枠組みを示し, シミュレーションロボティクス問題に対する効果を実証的に示す。
  論文  参考訳（メタデータ） (2022-10-06T17:55:09Z)
• Emergent Complexity and Zero-shot Transfer via Unsupervised Environment Design [121.73425076217471]
  本研究では,未知のパラメータを持つ環境を提供するUnsupervised Environment Design (UED)を提案する。 プロタゴニスト・アンタゴニストによるレグレト環境デザイン(PAIRED)と呼ぶ。 実験により, PAIREDは複雑な環境の自然なカリキュラムを生産し, PAIREDエージェントは, 高度に新規な環境での試験において, 高いゼロショット転送性能が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-03T17:37:01Z)
• One Solution is Not All You Need: Few-Shot Extrapolation via Structured MaxEnt RL [142.36621929739707]
  課題を達成するために多様な行動を学ぶことは、様々な環境に一般化する行動を引き起こす可能性があることを示す。 トレーニング中の1つの環境でタスクの複数のソリューションを識別することにより、我々のアプローチは新たな状況に一般化できる。
  論文  参考訳（メタデータ） (2020-10-27T17:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。