論文の概要: HiDiffTIR: Hierarchical Difficulty-Aware Policy Optimization for Multi-Turn Tool-Integrated Reasoning

• arxiv url: http://arxiv.org/abs/2608.21863v1
• Date: Sat, 22 Aug 2026 09:14:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.494764
• Title: HiDiffTIR: Hierarchical Difficulty-Aware Policy Optimization for Multi-Turn Tool-Integrated Reasoning
• Title（参考訳）: HiDiffTIR:マルチターンツール統合推論のための階層的難易度を考慮したポリシー最適化
• Abstract要約: Tool-Integrated Reasoningは、LLMエージェントが外部ツールと反復的に対話することで複雑なタスクを解決する機能である。 既存のアプローチは通常、一様軌跡レベルの利点を割り当て、全ての正しいツールコールを平等に扱う。 これは、自明なパターンと困難なツールの使用パターンを適切に区別しない不正確な学習信号につながる可能性がある。
• 参考スコア（独自算出の注目度）: 95.29291773706224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tool-Integrated Reasoning (TIR) is a fundamental capability for LLM agents to solve complex tasks by interacting with external tools iteratively. Reinforcement Learning (RL) has become the dominant paradigm for enabling this capability. However, existing approaches typically assign uniform trajectory-level advantages and treat all correct tool calls equally, ignoring the varying difficulty and learning value across trajectories and reasoning steps. This can lead to imprecise learning signals that do not adequately distinguish between trivial and challenging tool-use patterns. To address this limitation, we propose HiDiffTIR, a Hierarchical Difficulty-aware policy optimization framework for multi-turn TIR. HiDiffTIR performs difficulty-aware credit assignment at both trajectory and turn levels, enabling the policy to focus on more informative trajectories and harder reasoning steps. Notably, this fine-grained optimization is achieved without additional supervision, relying solely on group-level statistics derived from standard RL rollouts. Extensive experiments on three tool-using benchmarks demonstrate that HiDiffTIR consistently improves multi-turn TIR performance and tool invocation accuracy over strong RL baselines, highlighting the necessity of difficulty-aware credit assignment for effective policy optimization in tool-integrated LLM agents.
• Abstract（参考訳）: Tool-Integrated Reasoning (TIR)は、LLMエージェントが外部ツールと反復的に対話することで複雑なタスクを解決するための基本的な機能である。 強化学習(RL)は、この能力を実現するための主要なパラダイムとなっている。 しかし、既存のアプローチは一般に一様軌跡レベルの利点を割り当て、全ての正しいツールコールを平等に扱う。 これは、簡単なパターンと難しいツールの使用パターンを適切に区別しない不正確な学習信号につながる可能性がある。 この制限に対処するため,マルチターンTIRのための階層的困難を考慮したポリシー最適化フレームワークであるHiDiffTIRを提案する。 HiDiffTIRは、トラジェクトリとターンレベルの両方で難易度の高いクレジット割り当てを行い、ポリシーはより情報的なトラジェクトリとより困難な推論ステップに集中することができる。 特に、このきめ細かい最適化は、通常のRLロールアウトから派生したグループレベルの統計にのみ依存して、追加の監督なしに達成される。 3つのツール利用ベンチマークの大規模な実験により、HiDiffTIRは強力なRLベースライン上でのマルチターンTIR性能とツール実行精度を一貫して改善し、ツール統合LDMエージェントの効果的なポリシー最適化に、困難を意識したクレジット割り当ての必要性を強調した。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Tool-Aware Optimization with Entropy Guidance for Efficient Agentic Reinforcement Learning [33.576201769173224]
  本稿では,ツール対応トラジェクトリフィルタとエントロピー誘導探索を併用したTAO-RLを提案する。 具体的には、TAO-RLはロールアウトトラジェクトリを2つの基準に沿ってフィルタリングする。 アルゴリズムレベルでは、ツール対応のエントロピー誘導ボーナスを導入し、ポストツールコールトークンのアドバンテージ機能を再評価し、より多様な推論経路を探索するようポリシーを奨励する。
  論文  参考訳（メタデータ） (2026-06-02T15:16:12Z)
• Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning [65.10602992874787]
  AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。 実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
  論文  参考訳（メタデータ） (2026-01-30T14:42:04Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• Demystifying Reinforcement Learning in Agentic Reasoning [90.3737088727791]
  エージェント推論における強化学習のデミスティフィケーションのための包括的かつ体系的な調査を行う。 i) 縫合された合成軌道を、実際のエンドツーエンドのツール・ツー・ユース・トラジェクトリに置き換えることで、より強力なSFTが得られる。 探索フレンドリーな技術は、高いクリップ、過剰な報酬形成、適切なポリシーエントロピーの維持といったエージェントRLにとって不可欠であり、訓練効率を向上させることができる。
  論文  参考訳（メタデータ） (2025-10-13T17:57:15Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Reinforcing Multi-Turn Reasoning in LLM Agents via Turn-Level Reward Design [35.544075583073685]
  マルチターンRLアルゴリズムとエージェント応用のためのテキストターンレベルの報酬設計に関する最初の体系的研究について述べる。 我々は、多ターン推論強化検索エージェントのケーススタディを行い、検証可能とLCM-as-judgeの2種類のターンレベルの報酬を慎重に設計する。 マルチターン探索タスクの実験により、適切に設計されたターンレベルの報酬を組み込むことで、RLアルゴリズムは軌道レベルの報酬でベースライン法を大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-17T04:09:46Z)
• Agentic Reasoning and Tool Integration for LLMs via Reinforcement Learning [0.21845291030915975]
  ARTISTはエージェント推論、強化学習、大規模言語モデルのツール統合を密に結合する統合フレームワークである。 モデルは、マルチターン推論チェーン内でいつ、どのように、どのツールを呼び出すかを、自律的に決定できる。 実験の結果、ARTISTは最先端のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-04-28T10:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。