論文の概要: GRADUS: Discovering and Recovering Agent Lessons from the Environment's Latent Syllabus

• arxiv url: http://arxiv.org/abs/2610.27781v1
• Date: Tue, 20 Oct 2026 07:47:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.702417
• Title: GRADUS: Discovering and Recovering Agent Lessons from the Environment's Latent Syllabus
• Title（参考訳）: GRADUS:環境に潜むシラバスからエージェントのレッスンを発見・発見
• Abstract要約: ポリシーに制約されたツール環境のトレーニングエージェントは、環境のルールを個別に、そして組み合わせて行使するタスクを必要とする。 Gradusを紹介します。これは、タスクが具体的なタスクから何を教えるべきかを分離し、それを教えるために使用するソリューションです。 以上の結果から,GradusはCAR-Benchで59%から89%に,CAR-Benchでは47%から83%に,Opus 4.5プロポーザルで30Bモデルを持ち上げていることがわかった。
• 参考スコア（独自算出の注目度）: 16.958947002643775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training LLM agents for policy-constrained tool environments, such as an airline backend with booking, refund, and cancellation policies, requires tasks that exercise the environment's rules individually and in combination. Existing synthesis pipelines let a model propose tasks and retain only those it immediately solves, biasing training data toward easier behaviors. We introduce Gradus (Graded Rungs of Ascending Difficulty from an Underlying System), which decouples what a task should teach from the concrete task and solution used to teach it. Without seed tasks, Gradus treats a fixed environment as a latent syllabus, extracting guarded behavioral operators that capture how actions depend on current conditions and how their effects reshape subsequent decisions. It composes these operators into increasingly demanding tasks while using corpus-level feedback to target missing outcome combinations. Crucially, Gradus jointly calibrates tasks and solutions against the environment: execution feedback identifies which side to refine while preserving the intended behavioral requirements. Verification thus becomes a recovery signal rather than a terminal filter, coupling coverage-guided exploration with the preservation of difficult examples. From off-the-shelf backbones, the resulting curriculum lifts a 30B model from 59% to 89% on $τ^2$-Bench and from 47% to 83% on CAR-Bench with an Opus 4.5 proposer, and to 76% and 62%, respectively, with an open-weight Qwen3-235B proposer. These results show the value of jointly controlling which behaviors are explored and which survive into verified training data.
• Abstract（参考訳）: LLMエージェントは、予約、返金、キャンセルポリシーを備えた航空会社のバックエンドのような、ポリシーに制約のあるツール環境のために訓練され、環境のルールを個別に組み合わせて実行する必要がある。 既存の合成パイプラインでは、モデルがタスクを提案し、即座に解決するタスクのみを保持し、トレーニングデータをより簡単な行動に偏らせることができる。 Gradus (Graded Rungs of Ascending Difficulty from an Underlying System) では、タスクが具体的なタスクと、それを教えるために使用するソリューションから何を教えるべきかを分離する。 シードタスクがなければ、Gradusは固定された環境を潜伏したシラバスとして扱い、現在の状況にどう依存するか、そしてその効果がその後の決定をどのように形作るかを把握する、保護された行動演算子を抽出する。 コーパスレベルのフィードバックを使用して、不足する結果の組み合わせを目標にしながら、これらの演算子をますます要求されるタスクに構成する。 実行フィードバックは、意図した振る舞い要求を維持しながら、どの側面を洗練すべきかを識別する。 したがって、検証は終端フィルタではなく回復信号となり、複雑な例の保存とカバレッジ誘導探索を結合する。 市販のバックボーンからは、30Bモデルが$τ^2$-Benchで59%から89%、CAR-Benchで47%から83%、Opus 4.5プロポータで76%、Qwen3-235Bプロポータで62%に引き上げられた。 これらの結果は、どの行動が探索され、どの行動が検証された訓練データに生き残るかを共同で制御する価値を示している。

関連論文リスト

• From Failures to Learnable Worlds: Policy-Conditioned Environment Generation for Navigation Agents [58.2912265768154]
  WEDGEは弱いナビゲーション学習のためのフレームワークである。 ポリシーは、異なるトレーニング環境の利点と、異なる弱点のプロファイルを示す。
  論文  参考訳（メタデータ） (2026-10-14T02:10:38Z)
• WorkRover: Scaling Long-Horizon Cowork Agent Training Via Recursive Environment Evolution [101.12175332979554]
  環境進化を通じて長期のコワーキングエージェントを訓練するためのフレームワークであるWorkRoverを紹介する。 Factorial Compatibility Replay (FCR)は、ロールアウトフィードバックを使用してコンポーネントのリビジョンの組み合わせを評価する。 Verifier-to-Turn Credit Assignment (VTCA)は、決定論的ワークスペース-プログレスチェックからの信号でトラジェクトリレベルのGRPOのアドバンテージを増大させる。
  論文  参考訳（メタデータ） (2026-10-13T09:52:02Z)
• Recursive Environment Scaling for General Long-Horizon Agents [18.355616417014097]
  環境スケーリングは、コアタスクの目標を固定しながらエージェント-ベンチマークの困難を増大させる。 提案者は、情報アクセス、リソース関係、実行依存性を変更する。 3つのベンチマークによる294の初期タスクの実験では、Claw-Eval-Liveの57.14--77.14ポイントが減少し、6つの評価モデル全体のタスク成功率が低下した。
  論文  参考訳（メタデータ） (2026-10-12T08:39:40Z)
• CoEvoke: Evoking Multi-Agent Collaboration for Trajectory Collection [20.54124654406662]
  マルチエージェントコラボレーションのトレーニングには、チェック、フィードバック、修復の軌跡が必要となるが、タスク解決のロールアウトは、すぐに承認されるか、有効な修正なしに失敗に終わる可能性がある。 CoEvoke(リンク)は、トラジェクトリコレクション中にこれらの相互作用を誘発するクロスドメインフレームワークである。 制御された摂動は回復可能な困難を生じさせ、規制された参照ベースのガイダンスは調査を指示する。
  論文  参考訳（メタデータ） (2026-09-29T13:54:06Z)
• WAM-OPD: Sharpening World Action Models via On-Policy Distillation [84.1328443874472]
  事前訓練された世界行動モデル(WAM)は、多様なロボット操作タスクにまたがる汎用機能を提供する。 WAMのオンライン蒸留(OPD)とWAM-OPDの導入について検討する。 We show WAM-OPD improves target-task performance while maintaining near-itial performance on tasks excludeed by adapt。
  論文  参考訳（メタデータ） (2026-09-28T03:56:23Z)
• CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
  CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。 共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。 9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。 最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
  論文  参考訳（メタデータ） (2026-09-27T17:59:31Z)
• DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum [6.162129642161123]
  本研究では,連続的クーリエシフトにおけるエージェントの評価とトレーニングを行う3D環境であるDeliveryGymを紹介する。 永続的な世界力学とマルチモーダルツールの相互作用を結合し、シミュレータイベントからの軌道報酬を計算する。 また、政策の観察された弱点に将来的なトレーニングのシフトを適応させ、評価を一定に保ちます。
  論文  参考訳（メタデータ） (2026-09-17T07:13:55Z)
• What and When to Distill: Selective Hindsight Distillation for Multi-Turn Agents [70.6980022118038]
  強化学習は、緩やかなタスク報酬からLLMエージェントを訓練することができるが、長期的なクレジット割り当ては依然として困難である。 既存の方法は、ステップごとの環境フィードバックを完全に活用することなく、軌道レベルの報酬やプロキシ信号に依存している。 環境重み付け学習フレームワークであるSERLを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T07:00:55Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。