論文の概要: CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling
- arxiv url: http://arxiv.org/abs/2611.02978v2
- Date: Tue, 03 Nov 2026 16:02:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 11:55:08.965281
- Title: CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling
- Title(参考訳): CAREFUL-Bench:マルチTurn LLM関数呼び出しのエフェクト・アウェア、判断自由評価
- Abstract要約: バークレー関数呼び出しリーダーボードは、シミュレートされたサービスの最終的な状態のみをチェックする。
ジャッジフリーのリプレイスコアラは、ログ化された任意のBFCLランをリスコアし、800の参照トラジェクトリすべてでBFCLの結果を再生する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
- 参考スコア(独自算出の注目度): 45.88028371034407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The multi-turn checker of the Berkeley Function Calling Leaderboard (BFCL) checks only the final state of a simulated service, never the calls that produced it. Extra calls cost nothing, no function doc says what a function does, and the scripted user never answers a proposal, so a model that asks before deleting or paying fails the turn; 322 of the 734 reference turns in the base category act destructively without confirmation. We add effect information to BFCL without replacing it. Effect declarations for all 128 functions are inferred by executing each function in BFCL's own simulators and diffing the state; the remaining judgment, which writes are destructive, is made by four annotators, two humans and two language models (Fleiss' kappa = 0.75), and adjudicated. A judge-free replay scorer re-scores any logged BFCL run, reproduces BFCL's results on all 800 reference trajectories, and reports, alongside the official score, unrequested destructive calls, duplicate writes, redundant reads, surplus steps and their token cost. A confirmation-aware protocol adds a deterministic user that answers proposals. On 11 open models the effect-aware score preserves the official ranking (rho = 0.99) but changes the gaps: the leader loses 14.0 points to unrequested destructive calls, and surplus steps account for 2-28% of all input tokens. Effect hints in the function docs produce no measurable change for any of eight models, consistent with their advisory status in the Model Context Protocol. A user that answers recovers up to four points for the models that ask and none for the rest, with every comparison paired on the same conversations. The gains come from clarifying questions rather than requests for permission: of the 712 conversations that require a destructive call, no model completes more than 6 with every such call confirmed, a difference the official score does not record.
- Abstract(参考訳): Berkeley Function Calling Leaderboard(BFCL)のマルチターンチェッカーは、シミュレートされたサービスの最終的な状態のみをチェックする。
余剰呼び出しには何の費用もかからず、関数が何をするかは関数文書に書かれておらず、スクリプトされたユーザは提案に答えないため、削除や支払いをする前に要求するモデルは順番に失敗する。
置き換えることなくBFCLに効果情報を追加します。
すべての128の関数に対する効果宣言は、BFCL自身のシミュレータで各関数を実行し、状態を拡散することによって推測される。残りの判断は破壊的であり、アノテータ4つ、人間2つ、言語モデル2つ(Fleiss' kappa = 0.75)によって作成され、調整される。
ジャッジフリーのリプレイスコアラは、ログ化されたBFCLランをリスコアし、800の基準軌跡全てでBFCLの結果を再現し、公式スコア、要求されない破壊呼び出し、重複書き込み、冗長読み取り、余剰ステップ、トークンコストを報告する。
確認対応プロトコルは、提案に答える決定論的ユーザを追加する。
11のオープンモデルでは、エフェクト・アウェアのスコアは公式のランキング(rho = 0.99)を保っているが、ギャップが変わる: リーダーは14.0ポイントを失い、要求されない破壊的な呼び出しとなり、余剰ステップが全ての入力トークンの2~28%を占める。
関数ドキュメントのエフェクトヒントは、モデルコンテキストプロトコルのアドバイザリステータスと整合して、8つのモデルのいずれかに対して測定可能な変更を生成しません。
回答するユーザは、質問するモデルに対して最大4ポイントまで回復するが、残りのモデルについては、同じ会話で比較がペアリングされる。
不正な通話を必要とする712の会話のうち、そのような呼び出しが確認された時点ではモデルが6以上完了しておらず、公式スコアが記録していないという違いがある。
関連論文リスト
- Small agents should know what their tools do [45.88028371034407]
エフェクト型ツールの実行可能な世界であるエフェクトワールドを紹介する。
どのツールでもその効果を宣言します。
このデータで訓練された低ランクは大きな利益をもたらす。
論文 参考訳(メタデータ) (2026-10-26T10:28:14Z) - LeakBench: Auditing Reward Hacking through Prediction-Time Leakage in Clinical Modeling Agents [10.203903033167629]
LeakBenchは、予測時間漏洩、キャリブレーション、サイトレベルの評価、サポートの認識、決定に制約のあるネット利益のためのエージェント決定をテストする監査スイートである。
LeakBenchは、信頼できる臨床予測を、ただのスコアではなく、エージェントのモデリングプロセスの特性として扱う。
論文 参考訳(メタデータ) (2026-10-19T09:50:57Z) - PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents [27.303145899045074]
本稿では、PACE(Provenance-Aware Capability Enforcement)を紹介し、実行直前にすべてのツールコールを仲介する。
PACEは、提案されたブロックの後に認証された呼び出しを復元したり、宣言された修復を適用することができる。
スケールの縮小された適応探索は、0/30の不正なターゲットで防御に成功している。
論文 参考訳(メタデータ) (2026-10-01T09:18:05Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳(メタデータ) (2026-09-27T06:58:39Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳(メタデータ) (2026-07-17T17:41:16Z) - Hallucination as Exploit: Evidence-Carrying Multimodal Agents [10.441697487723568]
マルチモーダルエージェントはますます、スクリーンショットやドキュメント、Webページからツールコールを選択している。
本稿では,自由形式モデルテキストを不許容な証拠として扱うエビデンス搬送型マルチモーダルエージェント(ECA)を提案する。
ECAは不透明なモデルの信念を検証者、スキーマ、実装レベルで監査可能な残留物に変換する。
論文 参考訳(メタデータ) (2026-05-18T23:40:43Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。