論文の概要: Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers

• arxiv url: http://arxiv.org/abs/2610.32110v1
• Date: Fri, 23 Oct 2026 03:22:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.334384
• Title: Who Verifies the Tools? How Warped Formatters Mislead Agents and Their Verifiers
• Title（参考訳）: 誰がツールを検証したのか? 偽造業者のミスリードエージェントとその検証方法
• Abstract要約: 私たちは、ニューヨークにあるPilsudski Instituteで使われているRAG研究システムで、この現象が起きているのを見ました。 それぞれのツールが正しく仕事をしたが、その出力は検索制限、結果キャップ、識別子を省略した。 筆者らは,これらのフォーマッターがエージェントと検証器を誤用し,その修復語がどの程度役立つかを検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agents and verifiers often rely on the text a tool prints, and that text can misrepresent what the tool actually did, even when the tool's computation is correct. We saw this happen in a production RAG research system used by the Pilsudski Institute in New York, where tool output formatters misled an agent into giving wrong or incomplete information to users. Each tool did its job correctly, but its output omitted search limits, result caps, or identifier namespaces. We also recreated an unlabeled estimate caught in code review before release. We studied whether these formatters misled agents and verifiers and how much the repaired wording helps. We fed tool results to agents using two formatter versions: one with the key omissions and one with all missing details clearly stated. That difference alone changed what the agents claimed and what the verifiers accepted. Unsupported agent claims dropped substantially for three of the four failure types. In one test, verifiers went from accepting incorrect answers 90 out of 90 times to rejecting them 90 out of 90 times. A control showed the verifiers could catch the errors once they were given the missing facts and asked to judge correctness. We include the audit prompt we used with Codex and Claude Code in an exploratory demonstration, written with prior knowledge of our own system's defects. When pointed at an old version of our own system, it rediscovered the defects that were still live and surfaced twelve more we had not catalogued. When pointed at OpenClaw and Hermes, two of the best-known open-source agentic systems, it found warped formatters in both. We opened PRs to fix both, and the OpenClaw fix has already been merged. Practitioners can run the same prompt on their own systems today.
• Abstract（参考訳）: エージェントと検証者は、しばしばツールが印刷するテキストに依存し、そのテキストは、ツールの計算が正しい場合でも、そのツールが実際に何をしているかを誤って表現することができる。 そこでは、ツール出力フォーマッターがエージェントに誤った情報や不完全な情報をユーザに与えている。 それぞれのツールが正しく仕事をしたが、その出力は検索制限、結果キャップ、識別子の名前空間を省略した。 また、リリース前にコードレビューで得られたラベルなしの見積もりを再現しました。 筆者らは,これらのフォーマッターがエージェントと検証器を誤用し,その修復語がどの程度役立つかを検討した。 ツールの結果を2つのフォーマッターバージョンを使用してエージェントに提供しました。 この違いだけで、エージェントが主張するものと、検証者が受け入れたものが変わった。 サポートされていないエージェントのクレームは、4つの障害タイプのうち3つで大幅に減少した。 あるテストでは、検証者は90回中90回中90回は誤った回答を受け付けず、90回中90回は拒否された。 コントロールは、検証者が行方不明の事実を与えられたらエラーをキャッチできることを示し、正当性を判断するよう要求した。 CodexとClaude Codeで使った監査プロンプトを探索的なデモに含めています。 古いバージョンのシステムを指してみれば、まだ生きていた欠陥を再発見し、カタログ化していない12の欠陥を新たに発見しました。 最も有名な2つのオープンソースエージェントシステムであるOpenClawとHermesを指してみれば、どちらもワープフォーマットが見つかった。 両方を修正するためにPRを開きましたが、OpenClawの修正はすでにマージされています。 今日、実践者は自分のシステムで同じプロンプトを実行することができる。

関連論文リスト

• VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents [57.86211802714839]
  VerifierBenchは、ツールコール、ステートベース、コード検証にまたがる222のタスクのベンチマークである。 Verifier4Verifier (V4V) はソース検証とテストスイートを検査する。 分析されたレコードのほとんどの偽りの拒絶は、あるタスクに対するテストされた解決策を受け入れない検証者によるものである。
  論文  参考訳（メタデータ） (2026-10-19T17:22:36Z)
• Cortex: Measurement-Gated Evolution and Pruning of Coding-Agent Skills and Rules [0.0]
  Cortexは、ハーネスの変更を信頼せずにテストするツールです。 開発者のセッションから修正を再生可能なタスクとして保存する。 再帰する修正を見つけ、一度に1つのスキルやルールを書き、繰り返し実行された場合とそれなしではネットゲインを示す場合にのみそれを保持します。
  論文  参考訳（メタデータ） (2026-10-09T18:29:48Z)
• Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments [8.904042335790534]
  34回にわたって、4つのベンチマークで変更ツールを監査し、7つのツール欠陥と1つの評価器特性をピン付きコミットで確認した。 注入された欠陥について、チェッカーは25個のフラグに偽陽性を示さず、5つの負のコントロールのうち2つにフラグを付け、最も多くを逃した。 さらに12のAgentDojoツール、6つのホールドアウトツールと、最初に監査された7つのツールによって、25のツール変更サーフェスが完了した。
  論文  参考訳（メタデータ） (2026-09-29T11:50:55Z)
• TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
  時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。 Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。 TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
  論文  参考訳（メタデータ） (2026-09-23T03:08:12Z)
• Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
  ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。 循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。 そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
  論文  参考訳（メタデータ） (2026-08-25T09:34:18Z)
• Rebuild Dossier: Mechanically-Enforced Specs for Agentic App Rebuilds, and What Model-Tier Failures Reveal [0.0]
  restruct-dossierは、コードを記述する前にアプリケーションの実際のインターフェースをロックするオープンソースツールである。 自動チェックによるワンテスト・アズ・ア・タイムのビルドを強制する。
  論文  参考訳（メタデータ） (2026-08-22T01:26:56Z)
• Towards Verified Code Reasoning by LLMs [6.973151264926856]
  本稿では,コード推論エージェントの回答を自動的に検証する手法について述べる。 本手法は, エージェントの応答の形式的表現を抽出し, その後, 形式的検証とプログラム解析ツールを用いて構成する。
  論文  参考訳（メタデータ） (2025-09-30T17:17:51Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• GenAudit: Fixing Factual Errors in Language Model Outputs with Evidence [64.95492752484171]
  GenAudit - 文書基底タスクの事実チェック LLM 応答を支援するためのツール。 GenAuditは、レファレンス文書でサポートされていないクレームを修正したり削除したりすることでLCMレスポンスを編集することを提案し、また、サポートしているように見える事実の参照から証拠を提示する。 GenAuditは、さまざまなドメインから文書を要約する際に、8つの異なるLCM出力でエラーを検出することができる。
  論文  参考訳（メタデータ） (2024-02-19T21:45:55Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。