論文の概要: Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling

• arxiv url: http://arxiv.org/abs/2609.00949v1
• Date: Tue, 01 Sep 2026 09:08:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.491148
• Title: Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling
• Title（参考訳）: Calibration is the Bottleneck: A Action-class Diagnostic of Multi-Turn Tool-Calling
• Authors: Kangjia Zhao, Jiajun Li, Haozhan Shen, Wei Chow, Linfeng Li, Hang Song, Lingdong Kong, Chen Zhi, Tiancheng Zhao, Songhua Liu, Jianwei Yin,
• Abstract要約: 本稿では,マルチターン障害を2つのモードに分解するアクションクラス指向診断フレームワークを提案する。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。
• 参考スコア（独自算出の注目度）: 65.03665015319457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn tool calling is a core evaluation scenario for large language model (LLM) agents. On public tool-calling benchmarks, open-weight models now approach or even surpass closed-source frontier models in aggregate accuracy. However, this metric averages over many different multi-turn situations and obscures whether progress is balanced across them. We propose an action-class-oriented diagnostic framework that decomposes multi-turn failures into two orthogonal modes: action-class miscalibration and action-execution failure. The framework operates over a four-class action space (TOOL_CALL/ASK/REFUSE/CONFIRM) and introduces a self-revealing upper bound Acc <= GAR (Gold Action Recall); the two modes show up as bound violation (Acc > GAR, exposing state-grader masking of miscalibration) and large bound slack (GAR >> Acc, localizing execution failure within TOOL_CALL). We validate it on a panel of tool-calling models across multiple multi-turn benchmarks. Across our panel, the diagnostic reveals action-class miscalibration as a substantial failure mode the state grader cannot see. This gap inflates standing for heavily tool-trained families, which our diagnostic separates from families with context-appropriate action choice. Calibration is reshapable through context-only perturbations, but the reshape is heterogeneous: a single perturbation moves accuracy in opposite directions across families (up to +11.5 vs -21.0 pp on the same scenario), and its effect further depends on the perturbation mechanism. We argue that multi-turn tool-calling evaluations should supplement aggregate accuracy with action-class diagnostics that expose what the model actually does in each scenario.
• Abstract（参考訳）: マルチターンツール呼び出しは、大規模言語モデル(LLM)エージェントのコア評価シナリオである。 公開ツールコールベンチマークでは、オープンウェイトモデルが集約精度でクローズドソースフロンティアモデルに近づいたり、超えたりしています。 しかし、この測定基準は、多くの異なるマルチターン状況に対して平均であり、その間に進歩がバランスしているかどうかを曖昧にしている。 本稿では,マルチターン障害を2つの直交モードに分解するアクションクラス指向診断フレームワークを提案する。 フレームワークは4種類のアクション空間(TOOL_CALL/ASK/REFUSE/CONFIRM)上で動作し、自己Revealing upper bound Acc <= GAR(Gold Action Recall)を導入し、この2つのモードはバウンド違反(Acc > GAR, exposed state-grader masking of miscalibration)と大きなバウンドスラック(GAR > Acc, localizing execution failure in TOOL_CALL)として現れる。 複数のマルチターンベンチマークにまたがるツールコールモデルのパネル上で検証を行う。 パネル全体では、状態グレーダが見ることができない実質的な障害モードとして、アクションクラスの誤校正が明らかになっている。 このギャップは、重度のツール訓練を受けた家族の立場を膨らませ、私たちの診断は、文脈に適した行動選択を持つ家族と区別する。 キャリブレーションは文脈のみの摂動によってリサフタブルであるが、単一の摂動が家族間の反対方向(同じシナリオでは+11.5 vs -21.0 pp)を移動し、その効果は摂動機構に依存する。 マルチターンツールコール評価は、各シナリオでモデルが実際に何をしているかを明らかにするアクションクラス診断で集約精度を補完するべきである。

関連論文リスト

• PluginEval: A Diagnostic Benchmark for Fine-Grained Error Attribution in Function Calling [11.1017602726296]
  大規模言語モデルは、ますます自律的なエージェントとして機能している。 現在のベンチマークには3つの制限がある。 Evalは、2段階のフレームワークで構築されたベンチマークである。
  論文  参考訳（メタデータ） (2026-08-09T13:25:54Z)
• Diagnosing and Calibrating Tool-Call Boundary Drift in Multi-Teacher On-Policy Distillation [6.100373666222075]
  複数教師によるオンライン蒸留は,集合的損失だけでは見えない行動変化を誘導できることを示す。 2教師用ツール使用設定では、バニラ一般化知識蒸留により、ツールコールリコールが改善されると同時に、オーバーコールに向けてモデルが移動される。 極端トークンレベルのJensen-Shannon発散を動的に圧縮する,トークンごとの発散校正法であるSoft Clampを提案する。
  論文  参考訳（メタデータ） (2026-07-08T06:26:13Z)
• CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
  我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。 CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
  論文  参考訳（メタデータ） (2026-06-09T16:24:16Z)
• ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
  textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。 私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
  論文  参考訳（メタデータ） (2026-05-13T21:34:08Z)
• Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use [47.29360932085394]
  大規模言語モデル(LLM)は、外部ツールを呼び出す時と直接答える時を判断しなければならない自律的なエージェントとして、ますます機能します。 本稿では,各モデルの経験的性能に基づいて,ツール必要度をモデル適応的に定義する。 その結果,26.5～54.0%,30.8～41.8%のミスマッチが認められた。
  論文  参考訳（メタデータ） (2026-05-13T18:59:28Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。