論文の概要: Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study

• arxiv url: http://arxiv.org/abs/2608.03169v1
• Date: Tue, 04 Aug 2026 06:01:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 07:04:20.699301
• Title: Test-time reasoning effort and unauthorized tool use in language-model agents: a prespecified equivalence study
• Title（参考訳）: 言語モデルエージェントにおけるテスト時間推論の取り組みと不正ツール使用--事前特定同値性研究
• Abstract要約: ツールコールを通じて実行される言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作します。 TRIO-20の14の確認シナリオにおいて, GPT-5.6内の推論の努力(低, 最大)が異なる。 840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。
• 参考スコア（独自算出の注目度）: 1.6787220460106658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language-model agents that execute multi-step workflows through tool calls operate under access-control policies that restrict which operations each role may perform. The APIs serving these agents expose a reasoning-effort parameter that operators adjust for cost and latency. Whether this parameter also changes the rate of unauthorized tool use has not been tested by direct manipulation within a single model. We vary reasoning effort (low, max) inside GPT-5.6 across the 14 confirmatory scenarios of TRIO-20, a suite of 20 matched workplace triads in which a policy-prohibited tool call is effective and its effect on the target metric is stated in the environment, effective but discoverable only through rule inspection, or ineffective. The three conditions derive from one code base and differ in two configuration fields, with identical prompts and tool sets. All analyses were prespecified in a frozen plan before confirmatory collection. Across 840 trajectories and two model tiers, no unauthorized tool call occurred. Exact one-sided 95% limits place each arm's violation rate below 3.50% (Terra, n = 84) and 5.21% (Sol, n = 56). The interaction estimand, with a simultaneous exact 95% interval of $\pm 4.34$ percentage points on Terra, lies inside the $\pm 7.01$-point equivalence margin. Raising effort did change behaviour, but only in inspection: rule-probe rates rose in all conditions, most where probing carried no instrumental payoff, a pattern inconsistent with the hypothesis of targeted search ($-14.3$ points, 95% CI $-27.4$ to $+1.2$). Raw trajectories are released at https://github.com/WenJing95/trio-20.
• Abstract（参考訳）: ツールコールを通じて多段階ワークフローを実行する言語モデルエージェントは、各ロールが実行する操作を制限するアクセス制御ポリシーの下で動作する。 これらのエージェントを提供するAPIは、オペレーターがコストとレイテンシを調整できる推論・エフォートパラメータを公開する。 このパラメータが不正なツールの使用率も変更するかどうかは、単一のモデル内で直接操作することによってテストされていない。 TRIO-20は,政策禁止ツールコールが有効であり,目標基準に対する効果が環境において記述され,かつ,ルール検査によってのみ発見可能である,あるいは非有効である,20組の適合した職場トライアドである。 3つの条件は1つのコードベースから派生し、同じプロンプトとツールセットを持つ2つの設定フィールドで異なる。 すべての分析は、確認収集前の凍結計画で事前に特定された。 840の軌道と2つのモデル層にまたがって、認可されていないツールコールは発生しなかった。 片側95%の制限により、各腕の違反率は3.50%(Terra, n = 84)と5.21%(Sol, n = 56)を下回る。 相互作用推定値(英語版)は、Terra上での95%の精度で$\pm 4.34$%のパーセンテージで、$\pm 7.01$-pointの等価マージン内にある。 調査の努力は行動を変えたが、すべての条件においてルール・プローブ・レートが上昇し、ほとんどの場合、調査対象の探索(-14.3$ポイント、95%CI$-27.4$から+1.2$)の仮説と矛盾するパターンである器物的な支払いは行われなかった。 Raw trajectoriesはhttps://github.com/WenJing95/trio-20で公開されている。

関連論文リスト

• Tunable Tool-Call Rates in LLM Agents via Representation Steering [45.332672398938136]
  本研究では,モデル自身のツール使用嗜好信号からトレーニングを受けずに抽出した残ストリーム内の1つの直線方向でツールを制御できることを示す。 また、その方向は、特定のツールの選択を好まずに、各ツール自身の方向と同等の強度で、見えないツールに一般化されていることも示しています。
  論文  参考訳（メタデータ） (2026-08-25T22:35:18Z)
• TRACE: A Self-Evolving Skill Bank for Consistent, Limit-Aware LLM Agents [41.82249291285459]
  TRACEは、モデルウェイトを変更することなく、スキルベースのエージェントの行動知識を反復的に改善する。 GPT-5.5では、TRACEは一貫性(Pass3)を34.6ポイント改善し、59.9%から94.5%に改善した。 これらの結果から,TRACEは高モデルポテンシャルを安定かつ一貫した性能向上に変換することを示した。
  論文  参考訳（メタデータ） (2026-08-24T04:36:03Z)
• Beyond Pass@k: Measuring Reliability and Security of Agentic Code Generation [2.1734195143282693]
  我々は,n = 独立ロールアウトとc = 完全パスロールアウト(タスク,エージェント)ペアで適用したのと同じ推定器であるReliability@kを提案する。 機能的正当性がセキュリティの安全性を示唆しないという証拠によって、セキュリティ調整された信頼性も提案する。
  論文  参考訳（メタデータ） (2026-08-11T16:01:15Z)
• Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline [0.0]
  本稿では,2つの合成倉庫における400の凍結作業であるWarehouseBenchについて紹介する。 7BエージェントであるQueryProofは、セマンティックレイヤと物理カタログから派生したルールを使用して、その振る舞いを決定する。
  論文  参考訳（メタデータ） (2026-08-10T08:14:24Z)
• Teach it to stop, not just to click [0.0]
  修復された政策の成功率は上流の足場に支配されていることを示す。 通常のk-seedレポートのためのライブラリ(cua_reliability)をリリースする。
  論文  参考訳（メタデータ） (2026-07-19T08:46:06Z)
• CFAgentBench: A Reproducible Environment and Benchmark for Autonomous Construction-Finance Agents [0.0]
  CFAgentBenchは、自律的な建設ファイナンスエージェントのベンチマークである。 8つのドメインと77のファミリーにまたがる1014のマシングレード可能なタスク仕様を含んでいる。 最強のエージェントはpass1 = 0.67に達するが、pass5 = 0.38のみである。
  論文  参考訳（メタデータ） (2026-06-20T11:34:52Z)
• Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
  emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
  論文  参考訳（メタデータ） (2026-05-28T09:45:47Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• Measuring the Permission Gate: A Stress-Test Evaluation of Claude Code's Auto Mode [9.116800340266066]
  Claude Codeの自動モードは、AIコーディングエージェントに最初にデプロイされたパーミッションシステムである。 Anthropicは、生産トラフィックに対して0.4%の偽陽性率と17%の偽陰性率を報告している。 本研究では, 個々の行動レベルでの状態変化行動253件を, オラクル・グラウンドの真理に対して評価した。
  論文  参考訳（メタデータ） (2026-04-04T17:56:30Z)
• When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents [0.0]
  ReActスタイルのエージェントは、同じ入力でも平均10回の実行毎に2.0--4.2の異なるアクションシーケンスを生成する。 一貫性のある動作を持つタスクは80-92%の精度を達成するが、一貫性のないタスクは25-60%しか達成しない。 この結果から,実行中の動作の整合性を監視することにより,早期のエラー検出とエージェント信頼性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2026-02-12T06:15:14Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• Provably Efficient Action-Manipulation Attack Against Continuous Reinforcement Learning [49.48615590763914]
  我々は,モンテカルロ木探索法を用いて効率的な行動探索と操作を行うLCBTというブラックボックス攻撃アルゴリズムを提案する。 提案手法は, DDPG, PPO, TD3の3つの攻撃的アルゴリズムに対して, 連続的な設定で実行し, 攻撃性能が期待できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T08:20:29Z)
• $τ$-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains [43.43344028212623]
  $tau$-benchは、ユーザと言語エージェント間の動的会話をエミュレートするベンチマークである。 我々は、会話の最後にデータベースの状態と注釈付きゴール状態を比較する、効率的で忠実な評価プロセスを採用する。
  論文  参考訳（メタデータ） (2024-06-17T19:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。