論文の概要: Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use

• arxiv url: http://arxiv.org/abs/2605.27788v1
• Date: Wed, 27 May 2026 00:11:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.618208
• Title: Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use
• Title（参考訳）: 質問のタイミングを知る - LLMツールのセグメンテーションレベルクレジットアサインメント
• Authors: Abhijit Kumar, Zoey Wu, Mohit Suley,
• Abstract要約: textbfCARL(textbfCompetence-textbfAware textbfReinforcement textbfL)を提案する。 モデル自身のロールアウトに対して、パラメトリックな知識がどこに十分で、外部の助けを必要とするかを学ぶために、評論家を訓練する。 AUC 0.93の7Bでのツール依存の質問とパラメトリックで解ける質問を分離する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans know when to reach for help e.g. $347 \times 28$ warrants a calculator while $2+2$ does not. Language models do not. Prompt-based approaches can instruct a model when to invoke tools, but this scaffolding does not teach it to recognize the boundary of its own knowledge. RL approaches that assign a single outcome reward to the whole trajectory fare no better: trajectory-level credit cannot isolate which tool call in a successful episode actually helped, nor penalize unnecessary calls. We propose \textbf{CARL} (\textbf{C}ompetence-\textbf{A}ware \textbf{R}einforcement \textbf{L}earning), which trains a critic on the model's own rollouts to learn where parametric knowledge suffices and where it needs external help. By decomposing each rollout at natural tool-use boundaries (e.g., code fence delimiters and context block transitions), CARL assigns independent credit to each segment from a single binary outcome, without external judges or step-level annotations. As a result, erroneous tool calls, incorrect extractions, and unnecessary calls each receive appropriately signed advantages. The trained critic captures the model's domain competence: it separates parametrically solvable from tool-dependent questions with AUC 0.93 at 7B. On five benchmarks spanning arithmetic, multi-hop factual QA, and numerical reasoning over financial tables, CARL improves exact-match accuracy by 6.7 points at 7B and 9.7 points at 3B over the best RL baseline, with the largest gain (+8.3 EM at 7B, +9.0 EM at 3B) on Musique. The model issues 53\% fewer tool calls on parametrically answerable questions while remaining ${\sim}10$ EM points more accurate on them. Gains are largest at small scale: the 3B improvement is $1.4\times$ the 7B improvement, suggesting that knowing when to ask disproportionately benefits models with smaller parametric memory.
• Abstract（参考訳）: 人間は助けを求めるとき、例えば347ドル(約3,300円)の時間28ドル(約2,800円)は電卓を保証しますが、2+2ドル(約2,300円)はそうではありません。 言語モデルはそうではない。 プロンプトベースのアプローチは、ツールを呼び出すときにモデルを指示することができるが、この足場は、自身の知識の境界を認識することを学ばない。 トラジェクトリレベルのクレジットは、成功したエピソードにおけるどのツールコールが実際に役立ったかを特定したり、不要な呼び出しをペナルティ化したりすることはできない。 本稿では,モデル自体のロールアウトに対して,パラメトリックな知識がどこにあれば,外部の助けが必要なのかを知るよう,評論家を訓練する。 各ロールアウトを自然なツール使用境界(例えばコードフェンスデリミタやコンテキストブロック遷移)で分解することで、CARLは外部の判断やステップレベルのアノテーションなしで、単一のバイナリ結果から各セグメントに独立したクレジットを割り当てる。 その結果、誤ったツールコール、誤った抽出、不要な呼び出しはそれぞれ、適切に署名されたアドバンテージを受け取る。 訓練された批評家はモデルのドメイン能力を捉え、7BでAUC 0.93でツールに依存した質問からパラメトリックに解決できる質問を分離する。 算術、マルチホップ実数QA、金融表上の数値推論を対象とする5つのベンチマークにおいて、CARLは7Bで6.7ポイント、最高のRLベースラインで9.7ポイント、最大利得(+8.3 EM、+9.0 EM、+Bで3B)で精度を向上する。 モデルでは、パラメトリックな回答可能な質問に対するツールコールが53%減少し、${\sim}10$ EMポイントはより正確である。 3Bの改善は1.4\times$7Bの改善であり、いつ、より小さなパラメトリックメモリを持つモデルに不均等に問うべきかを知っておくことが示唆される。

関連論文リスト

• LLM Agents Already Know When to Call Tools -- Even Without Reasoning [25.40369702634587]
  LLMエージェントは、たとえモデルが直接答えられるとしても、ツールを無差別に呼び出す傾向がある。 ツールコールが実際に必要になった場合、既存のベンチマークは体系的に研究されない。 ツールの必要性の3つのカテゴリにまたがる18の環境のベンチマークである When2Tool を提案する。
  論文  参考訳（メタデータ） (2026-05-10T01:37:40Z)
• KnowRL: Boosting LLM Reasoning via Reinforcement Learning with Minimal-Sufficient Knowledge Guidance [50.70511573232489]
  我々は、ヒントデザインを最小限のガイダンス問題として扱うRLトレーニングフレームワークであるtextbfKnowRL(Knowledge-Guided Reinforcement Learning)を提案する。 KnowRLは、ガイダンスを原子知識ポイント(KP)に分解し、制約付きサブセットサーチ(CSS)を使用して、訓練用にコンパクトで対話対応のサブセットを構築する。 1.5Bスケールの8つの推論ベンチマークで、KnowRL-Nemotron-1.5Bは強いRLを一貫して上回り、ベースラインを示唆している。
  論文  参考訳（メタデータ） (2026-04-14T11:53:23Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
  逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。 RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
  論文  参考訳（メタデータ） (2024-02-08T16:46:26Z)
• Answering Unseen Questions With Smaller Language Models Using Rationale Generation and Dense Retrieval [9.136948771060895]
  この設定でさらに改善する2つの方法を評価する。 どちらも、より大きな言語モデルによって生成された合理性と、マルチホップ密度検索システムから生成された長いコンテキストを組み合わせることに焦点を当てている。 我々の最高の推論モデルは、見当たらない評価データセットに対して、強い比較前のベースラインを大幅に改善します。
  論文  参考訳（メタデータ） (2023-08-09T05:06:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。