論文の概要: EPISTEME: Trustworthy Coding Agents Through Tool Call Intent
- arxiv url: http://arxiv.org/abs/2611.06563v1
- Date: Wed, 04 Nov 2026 14:26:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.135122
- Title: EPISTEME: Trustworthy Coding Agents Through Tool Call Intent
- Title(参考訳): EPISTEME:ツールコールインテントによる信頼できるコーディングエージェント
- Abstract要約: コーディングエージェントはツールコールを通じてソフトウェアを変更する。
エージェントはなぜツールコールが行われたかは決して言わない。
本稿では,ツールコールを行う理由をモデルが宣言することをハーネスが保証する疫学的エージェント設計を提案する。
- 参考スコア(独自算出の注目度): 4.509489445948159
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents change software through tool calls. Tool calls mutate the local state. For good? For bad? Nobody knows. Agents never say why a tool call is made. We propose the epistemic agent design, in which the harness guarantees that the model declares why a tool call is made. The harness then records what the command actually did and checks the self-reported declaration against these effects. The result is a journal 1) that can guard calls before they run and 2) that supports audits and forensics. For evaluation, we use ImpossibleBench, whose tasks can be passed only by cheating, and demonstrate that forcing the agents to say why results in exposed cheating. Across 49 reward-hacking runs of two open-weight models, the journal exposed 90%.
- Abstract(参考訳): コーディングエージェントはツールコールを通じてソフトウェアを変更する。
ツールコールはローカル状態を変更する。
何のために?
悪い?
誰も知らない。
エージェントはなぜツールコールが行われたかは決して言わない。
本稿では,ツールコールを行う理由をモデルが宣言することをハーネスが保証する疫学的エージェント設計を提案する。
ハーネスはコマンドが実際に行ったことを記録し、これらの影響に対して自己報告された宣言をチェックする。
結果はジャーナルです
1) 走る前に電話を守れるもの
2)監査と鑑識を支援する。
評価にはImpossibleBenchを使用し、不正行為によってのみタスクを渡すことができる。
この雑誌は2つのオープンウェイトモデルの49回にわたって、90%を公表した。
関連論文リスト
- Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers [0.0]
私たちは、ニューヨークにあるPilsudski Instituteで使われているRAG研究システムで、この現象が起きているのを見ました。
それぞれのツールが正しく仕事をしたが、その出力は検索制限、結果キャップ、識別子を省略した。
筆者らは,これらのフォーマッターがエージェントと検証器を誤用し,その修復語がどの程度役立つかを検討した。
論文 参考訳(メタデータ) (2026-10-23T03:22:12Z) - ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets [15.927954350843057]
ToolBottleneckBenchは、制御された圧力と固定されたハーネス予算の下でツールエージェントのパフォーマンスを測定するベンチマークである。
障害記録は、割り当てられたプレッシャーを、ツールコールの回数以上に確実に識別する。
どのツールがモデルに到達するか、誰が呼び出しを発行するかを変えるのに役立つ修理は、モデルの振る舞いを改善しない2つの修理だけが、すべての設定スイッチを破ります。
論文 参考訳(メタデータ) (2026-10-15T01:59:58Z) - AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。
5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。
ハーネスは推論の精度を常に改善しないことがわかった。
論文 参考訳(メタデータ) (2026-10-14T14:04:48Z) - hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。
我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。
HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
論文 参考訳(メタデータ) (2026-10-02T09:35:59Z) - Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。
結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。
ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
論文 参考訳(メタデータ) (2026-10-01T12:55:07Z) - Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。
注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。
さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
論文 参考訳(メタデータ) (2026-09-29T11:50:55Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - SilentCall: Hidden Tool-Call Backdoors in Open-Weight Agents, and How to Catch Them [0.0]
オープンウェイトなツールコールエージェントは、通常はベンチマークスコアと信頼性のある使用記録に採用されている。
モデルパブリッシャは、悪意のある行動を隠蔽しながら、両方を稼ぐエージェントを訓練できることを示す。
ツールを使用するエージェントは、オープンウェイトサプライチェーンを通じて拡散するので、モデルが自身の行動について何を言っているのかを信頼するべきではない。
論文 参考訳(メタデータ) (2026-09-25T21:32:31Z) - Ask the Tool, Don't Guess: Agent Tool Calls Hold Their Progress, and the Serving System Should Read It [15.556430097785094]
コール開始前に固定された推定値がその期間を知ることができることを示す。
ツールコールは、実行中の進捗を明示的に報告し、何が必要なのかを計測する。
論文 参考訳(メタデータ) (2026-09-16T15:54:34Z) - Think Twice Before You Act: Protecting LLM Agents Against Tool Description Poisoning via Isolated Planning [48.99783163807576]
クロスツール記述中毒は、エージェントの軌道を操縦するためにプランナー可視のツールメタデータを操作することができる。
重要な観察は、有毒な記述がステップを越えた計画コンテキストに留まり、その後のツール選択に対する継続的な影響を可能にすることである。
我々は,孤立計画と呼ばれる新しい概念に基づく新しいシステムレベルの防衛ツールであるTool-Guardを提案する。
論文 参考訳(メタデータ) (2026-06-18T20:31:08Z) - PhoneHarness: Harnessing Phone-Use Agents through Mixed GUI, CLI, and Tool Actions [73.69976712292683]
PhoneHarnessは、検証可能なモバイル上で電話使用エージェントを研究するための混合アクションベンチマークと実行ハーネスである。
そのベンチマークであるPhoneHarness Benchは、エージェントが観測可能な副作用を持つタスクを完了したかどうかを評価する。
この結果から,信頼度の高い電話の自動化は,視覚的GUI制御だけでなく,動作面のルーティングと検証可能な実行に依存することが示唆された。
論文 参考訳(メタデータ) (2026-06-12T15:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。