論文の概要: Explicit Trajectory Diversity for RL-Based Post-Training of LLM Agents

• arxiv url: http://arxiv.org/abs/2609.38805v1
• Date: Wed, 30 Sep 2026 02:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.045175
• Title: Explicit Trajectory Diversity for RL-Based Post-Training of LLM Agents
• Title（参考訳）: LLM剤のRLによる後処理における特異な軌道の多様性
• Abstract要約: LLMのためのRLを用いた後学習における軌跡の明示的多様性について検討した。 私たちのキーとなる考え方は、ユーザ固有のタスク固有の軌道記述子によって多様性を定義することです。 この定式化に基づいて、軌道誘導合同政策最適化を導入する。
• 参考スコア（独自算出の注目度）: 6.1911579471131
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents often admit multiple high-quality solutions to the same task, differing in reasoning structure, tool-use pattern, or interaction trajectory. Yet existing notions of diversity in LLM post-training are mostly implicit, arising from general stochasticity and regularization mechanisms rather than explicitly targeting task-relevant behavioral variation. While such implicit diversity can be useful, it does not directly specify which forms of behavioral variation should be encouraged for a given task. In this work, we study explicit trajectory diversity in RL-based post-training for LLMs. Our key idea is to define diversity through user-specified, task-specific trajectory descriptors, which map each sampled trajectory to an interpretable behavioral representation, and then measure diversity as a set-level functional over the resulting descriptor matrix. Building on this formulation, we introduce Trajectory-guided Joint Policy Optimization(TJPO), a single-policy framework that optimizes explicit diversity over sampled trajectory groups, avoiding the need for population-based policy training, and instantiate it within group-based policy optimization through trajectory-level learning signals. This design makes the diversity objective both interpretable and controllable. Experiments on Sokoban and ALFWorld show that TJPO improves task-specific trajectory diversity while maintaining competitive task performance. Descriptor and trajectory analyses show that the learned variation follows the specified behavioral dimensions and includes distinct successful strategies. Extra experiment results suggest that explicitly shaping trajectory diversity can help LLM agents satisfy user requirements and remain effective when task conditions change.
• Abstract（参考訳）: LLMエージェントは、しばしば同じタスクに対して複数の高品質なソリューションを認め、推論構造、ツール使用パターン、または相互作用軌跡が異なる。 しかし、LLMのポストトレーニングにおける多様性の概念は、タスク関連行動変動を明示的にターゲットするよりも、一般的な確率性と正規化メカニズムから生じる、ほとんど暗黙的である。 このような暗黙の多様性は有用であるが、与えられたタスクに対してどの行動変化を奨励すべきかを直接規定するものではない。 本研究では,LLを用いたLLMのポストトレーニングにおける軌跡の明示的多様性について検討する。 我々のキーとなる考え方は、各サンプル軌跡を解釈可能な振る舞い表現にマッピングし、その結果のデクリプタ行列上のセットレベル関数として多様性を計測する、ユーザ指定のタスク固有軌跡記述子によって多様性を定義することである。 この定式化に基づいて,単一政治フレームワークであるトラジェクティブ誘導共同政策最適化(TJPO)を導入する。これは,サンプリングされたトラジェクトリグループに対する明示的な多様性を最適化し,集団ベースの政策トレーニングを回避し,トラジェクトリレベルの学習信号を通じてグループベースの政策最適化をインスタンス化する。 この設計は多様性の目的を解釈可能と制御可能の両方にしている。 SokobanとALFWorldの実験によると、TJPOは競争力のあるタスク性能を維持しながら、タスク固有の軌道の多様性を改善している。 記述的および軌跡的分析は、学習された変異が特定の行動次元に従い、異なる成功戦略を含むことを示している。 余分な実験結果から, 軌道の多様性を明確に形成することは, LLMエージェントがユーザの要求を満たすのに有効であり, タスク条件が変化しても有効であることが示唆された。

関連論文リスト

• Turn-level Multiscale Density Ratio Estimation for LLM Agents [17.09218511959141]
  複数のエージェントシナリオにおけるLarge Language Model (LLM)のポストトレーニングは、より良いパフォーマンスを達成するために必要である。 本稿では,対応するターンに異なる重みを割り当てるターンレベルマルチスケール比推定法(tlm-DRE)を提案する。 実験の結果,提案手法は従来のアライメント手法と競合する性能を示した。
  論文  参考訳（メタデータ） (2026-09-15T07:36:23Z)
• Are We Measuring Strategy or Phrasing? The Gap Between Surface- and Approach-Level Diversity in LLM Math Reasoning [23.417956258945427]
  従来の多様性対策は、アプローチレベルの多様性に対する信頼できないプロキシであることを示す。 我々の研究は、アプローチレベルの多様性の概念を導入し、表面信号とアプローチレベルの信号の体系的な相違を明らかにする。
  論文  参考訳（メタデータ） (2026-06-29T08:59:22Z)
• TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning [1.2922946578413577]
  多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク 多目的強化学習ポリシーを説明するための軌道ベース説明可能性フレームワーク
  論文  参考訳（メタデータ） (2026-03-23T13:55:14Z)
• Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
  本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。 提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。 そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
  論文  参考訳（メタデータ） (2026-02-01T17:29:43Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Task-Aware LLM Council with Adaptive Decision Pathways for Decision Support [6.468209380404613]
  Task-Aware LLM Council (TALC) はモンテカルロ木探索 (MCTS) と大規模言語モデルのカウンシルを統合している。 TALCは、強いベースラインよりも優れたタスク成功率と検索効率の向上を実現している。
  論文  参考訳（メタデータ） (2026-01-30T07:29:20Z)
• Post-training Large Language Models for Diverse High-Quality Responses [32.92680825196664]
  強化学習 (Reinforcement Learning, RL) は,大規模言語モデル (LLM) の訓練後に一般的な手法として登場した。 決定点プロセス(DPP)に基づくDQO(Diversity Quality Optimization)という新しいトレーニング手法を提案する。 提案手法では,各プロンプトに対して応答群をサンプリングし,次にカーネルベースの類似度行列の行列式を用いて,これらの応答の埋め込みによって分散される体積として多様性を測定する。
  論文  参考訳（メタデータ） (2025-09-05T03:47:06Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。