論文の概要: Counterfactual Tool Ranking under Utility, Cost, and Privilege Constraints
- arxiv url: http://arxiv.org/abs/2609.22819v1
- Date: Sat, 19 Sep 2026 06:40:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.563926
- Title: Counterfactual Tool Ranking under Utility, Cost, and Privilege Constraints
- Title（参考訳）: 実用性・費用・民事制約による偽装品のランク付け
- Abstract要約: 本研究は、新しいDR推定器、公式BFCLリーダーボードスコア、プロダクションエージェント安全クレームではなく、偽造可能な評価方法であり、独立した公的証拠である。
不一致保存フォールバックは、5つのサポートギャップ実行すべてでこの特性を達成するが、保守的なサンプリング境界はデプロイメントの改善を証明しない。
2つのピン付きローカルQwen2.5モデルは、同じ200の保持タスクで評価され、固定プロンプトの下での強い失敗が露呈する。
- 参考スコア（独自算出の注目度）: 7.504639516424482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counterfactual tool evaluation must distinguish authority, historical support, and what a comparison actually estimates. We study these distinctions with eleven executable enterprise-inspired tools, exact-propensity logs, and real local Model Context Protocol transport. An initial 45-run synthetic study is retained, then challenged by 30 realized-return control runs and 15 experiments on 1,930 independently released Berkeley Function Calling Leaderboard (BFCL) tasks. Full-return direct regression reverses an initially favorable doubly robust (DR) evaluation result in the linear setting: mean absolute errors are 0.0139 for direct regression and 0.0272 for DR. Under a shifted environment, DR retains an advantage, with errors 0.0227 versus 0.0948. On function-name-group-disjoint BFCL-derived splits, direct and DR selectors obtain balanced accuracies of 81.85% and 79.83%. Two pinned local Qwen2.5 models are evaluated on the same 200 held-out tasks, exposing a strong failure to abstain under the fixed prompt. We further characterize policy differences under missing support: unsupported actions shared by two policies cancel, allowing point identification of an incremental change when neither absolute value is identifiable. A disagreement-preserving fallback achieves this property in all five support-gap runs, but conservative sampling bounds do not certify deployment improvement. The contribution is a falsifiable evaluation method and independent public evidence, not a new DR estimator, official BFCL leaderboard score, or production-agent safety claim.
- Abstract（参考訳）: 対物的ツール評価は、権威、歴史的支援、そして比較が実際に実際に見積もっているものを区別しなければならない。
それらの特徴を,企業にインスパイアされた11の実行可能なツール,正確な正当性ログ,および実ローカルなModel Context Protocolトランスポートを用いて検討する。
最初の45回の合成研究は、30回の実効復帰制御と、1,930の独立にリリースしたバークレー関数呼び出しリーダーボード(BFCL)の15の実験に挑戦された。
絶対誤差の平均0.0139、DR0.0272である。シフト環境下では、DRは0.0227と0.0948の誤差で有利である。
関数名-グループ結合BFCL由来の分割では、直接およびDRセレクターは81.85%と79.83%のバランスの取れた精度を得る。
2つのピン付きローカルQwen2.5モデルは、同じ200の保持タスクで評価され、固定プロンプトの下での強い失敗が露呈する。
2つのポリシーが共有するサポートアクションはキャンセルされ、絶対値が特定できない場合に、段階的な変更のポイント識別が可能である。
不一致保存フォールバックは、5つのサポートギャップ実行すべてでこの特性を達成するが、保守的なサンプリング境界はデプロイメントの改善を証明しない。
この貢献は、新しいDR推定器、公式のBFCLリーダーボードスコア、生産関連安全クレームではなく、偽造可能な評価方法と独立した公的証拠である。
関連論文リスト
- Guardrailed Meta-Agent Loops: Stress-Testing Policy Pinning, Budget Bounds, and Crash Recovery [7.414694666903067]
GuardrailLoopはシミュレーションベースのテストベッドで、3つの運用契約を共同でテスト可能にする。
ハッシュピン付ポリシーは、目標、スコープ、評価アイデンティティ、予算、リリース条件を修正します。
有用な適応、状態回復、反復実行を分離する。
論文 参考訳（メタデータ） (2026-09-10T21:22:08Z) - Credit Without Ground Truth: Auditing Step-Level Credit Assignment in LLM Agents Against Executed Replay [0.6768558752130311]
単一エージェント環境において,実行されたリプレイからポリシー条件の真偽を検査する。
段階的な信用シグナルは、限界整合シャッフル制御以上の信頼度の高いインクリメンタル忠実度を示すものではない。
信頼のみのルータは、チャンスレベルにおいて重要なステップを回復するが、1ターンあたりの審査コストを13.1%削減する。
論文 参考訳（メタデータ） (2026-08-20T08:04:00Z) - When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。
ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。
結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
論文 参考訳（メタデータ） (2026-08-12T18:10:10Z) - Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。
機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
論文 参考訳（メタデータ） (2026-08-11T16:01:15Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Trust No Tool: Evaluating and Defending LLM Agents under Untrusted Tool Feedback [38.251599309409]
我々は,悪質なツールが探索中に合理的に振る舞う,異なる障害モード,認知的中毒について検討する。
ファイナルアクションリスクスコアリングのためのバックボーンに依存しないフレームワークであるVISTA-Guardを提案する。
論文 参考訳（メタデータ） (2026-05-17T13:51:34Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Conservative Offline Robot Policy Learning via Posterior-Transition Reweighting [36.23660195981511]
PTR(Posterior-Transition Reweighting)は、報酬のない、保守的なポストトレーニング手法である。
各トレーニングサンプルが管理された更新にどの程度影響するかを決定する。
PTRは、各サンプルの反応後の結果が現在の表現の下にあるかに応じてクレジットを再配置する。
論文 参考訳（メタデータ） (2026-03-17T14:05:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。