論文の概要: Direct Diversity Optimization for Diverse Successful Trajectories in Preference Post-Training
- arxiv url: http://arxiv.org/abs/2609.10052v1
- Date: Wed, 09 Sep 2026 11:27:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:09.003629
- Title: Direct Diversity Optimization for Diverse Successful Trajectories in Preference Post-Training
- Title（参考訳）: 選好後の選好における多変量軌道の直接多様性最適化
- Abstract要約: Direct Diversity Optimization (DDO)は、Didergence-Tree Collection (DTC)とReference-Relative Target-Odds Objective (RTO)を組み合わせたオフラインのポストトレーニング手法である。
DDOは、BabyAI、BabaIsAI、WebShopで比較されたポストトレーニング手法の中で、最強のタスク成功と戦略カバレッジを実現している。
また、局所的な動作置換とタスクの成功率とカバレッジが、成功のみの模倣や復号時間分散制御よりも高いリカバリ率を達成する。
- 参考スコア（独自算出の注目度）: 12.777149403752624
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents for sequential decision tasks are often post-trained with trajectory-level outcome labels, but such labels provide little supervision for preserving multiple successful branches from the same decision state. We study this problem as successful strategy coverage: how broadly a model realizes distinct successful strategies under a fixed rollout budget. We present Direct Diversity Optimization (DDO), an offline post-training method that combines Divergence-Tree Collection (DTC) with the Reference-Relative Target-Odds Objective (RTO). DTC constructs state-aligned branch sets rooted at shared decision states, and RTO trains the model to match reference-relative targets over successful alternatives. DDO achieves the strongest task success and successful strategy coverage among the compared post-training methods across BabyAI, BabaIsAI, and WebShop. It also achieves the highest recovery rate after local action replacement and higher task success and coverage than successful-only imitation and decoding-time diversification controls.
- Abstract（参考訳）: シーケンシャルな意思決定タスクのためのLLMエージェントは、しばしば軌道レベルの結果ラベルで後から訓練されるが、そのようなラベルは、同じ決定状態から複数の成功ブランチを保存するための監督をほとんど提供しない。
我々は,この問題を,一定のロールアウト予算の下で,モデルが成功戦略をいかに広く実現するかという,成功戦略のカバレッジとして検討する。
本稿では,DDO(Didergence-Tree Collection)とRTO(Reference-Relative Target-Odds Objective)を組み合わせたオフラインポストトレーニング手法を提案する。
DTCは、共有決定状態に根付いた状態整列分岐セットを構築し、RTOは、成功した代替案よりも参照相対目標にマッチするようにモデルを訓練する。
DDOは、BabyAI、BabaIsAI、WebShopで比較されたポストトレーニング手法の中で、最強のタスク成功と戦略カバレッジを実現している。
また、局所的な動作置換とタスクの成功率とカバレッジが、成功のみの模倣や復号時間分散制御よりも高いリカバリ率を達成する。
関連論文リスト
- EASy: Towards Efficient LLM-Based Agentic System [54.10819421625103]
強化学習によるタスク性能と計算効率を協調的に最適化する訓練可能なエージェントフレームワークであるEASyを提案する。
EASyはLLMベースのオーケストレータに異種エグゼキュータの能力とコストプロファイルを明確に把握し、パフォーマンスのみのルーティング以上のコンテキスト依存的な調整を可能にする。
さらに、複雑なタスクを管理可能なマイルストーンに分解し、依存性を意識した実行グラフを構築し、適切なエグゼキュータを割り当て、その後の決定を中間的な結果に適用しながら、独立したステップを並列化するマイルストーン計画実行ワークフローも導入されている。
論文 参考訳（メタデータ） (2026-08-05T08:50:36Z) - Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。
筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。
これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
論文 参考訳（メタデータ） (2026-06-29T12:30:24Z) - Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning [76.93011742289768]
強い言語モデルから弱い言語モデルへの推論能力の蒸留は、典型的には特定の解軌跡を模倣する。
この軌道レベルの模倣は、伝達可能な問題解決スキルの獲得よりも、インスタンス固有のステップの記憶を促進する。
再利用可能な戦略蒸留にインスタンスレベルの軌道模倣を置き換えた戦略誘導型政策最適化を提案する。
論文 参考訳（メタデータ） (2026-06-23T02:14:12Z) - StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction [76.50439715778869]
StraTAは、エージェント強化学習に明確な軌道レベルの戦略を導入するフレームワークである。
ALFWorld、WebShop、SciWorldの実験では、StraTAはサンプル効率と最終的なパフォーマンスの両方を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-07T17:51:16Z) - Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance [86.46794021499511]
戦略利用と戦略実行可能性の間には、これまで未定のギャップがある。
SSR(Selective Strategy Retrieval)は,実行可能性を明確にモデル化するテストタイムフレームワークである。
SSRは、直接解決、文脈内学習、単一ソースガイダンスよりも信頼性が高く一貫した改善をもたらす。
論文 参考訳（メタデータ） (2026-02-26T03:34:23Z) - Task-Aware LLM Council with Adaptive Decision Pathways for Decision Support [6.468209380404613]
Task-Aware LLM Council (TALC) はモンテカルロ木探索 (MCTS) と大規模言語モデルのカウンシルを統合している。
TALCは、強いベースラインよりも優れたタスク成功率と検索効率の向上を実現している。
論文 参考訳（メタデータ） (2026-01-30T07:29:20Z) - From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。
モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。
タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文 参考訳（メタデータ） (2026-01-28T09:29:40Z) - Integrating Diverse Assignment Strategies into DETRs [61.61489761918158]
ラベル割り当ては、特にDETRスタイルのフレームワークにおいて、オブジェクト検出器において重要なコンポーネントである。
我々は,任意のDETR型検出器に多様な割り当て戦略をシームレスに統合する,フレキシブルで軽量なフレームワークであるLoRA-DETRを提案する。
論文 参考訳（メタデータ） (2026-01-14T07:28:54Z) - SMaRT: Select, Mix, and ReinvenT - A Strategy Fusion Framework for LLM-Driven Reasoning and Planning [14.78684546475325]
大規模言語モデル(LLM)は、例外的な一般化機能を備えた複雑なタスク自動化を再定義した。
パフォーマンスを最大化し、堅牢性を保証するために戦略を融合するフレームワークの必要性を強調している。
我々は、この制約を克服するために設計された革新的な戦略融合アプローチであるSelect, Mix, ReinvenT (SMaRT) フレームワークを紹介します。
論文 参考訳（メタデータ） (2025-10-20T20:42:24Z) - Cooperative Reward Shaping for Multi-Agent Pathfinding [4.244426154524592]
MAPF(Multi-Agent Pathfinding)の主な目的は、全てのエージェントに対して効率的で競合のないパスを計画することである。
従来のマルチエージェントパス計画アルゴリズムは、複数のエージェントに対して効率的な分散パス計画を実現するのに苦労する。
独立Q-Learning(IQL)に基づく独自の報酬形成手法を紹介する。
論文 参考訳（メタデータ） (2024-07-15T02:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。