論文の概要: Hearsay: Can an Auditor Trust the Record a Deployed Agent Harness Writes?
- arxiv url: http://arxiv.org/abs/2609.32495v1
- Date: Sat, 26 Sep 2026 11:37:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 08:32:56.991899
- Title: Hearsay: Can an Auditor Trust the Record a Deployed Agent Harness Writes?
- Title（参考訳）: Hearsay: オーディタは、デプロイされたエージェントのHarnessが書いた記録を信頼できますか?
- Abstract要約: Hearsayはタスクではなくレコードを調べます。
審査員が引用する抜粋はすべて、誰が書いたかによって機械的にチェックされる。
第3に、治療は第2の著者であり、第1の強い封印ではない。
- 参考スコア（独自算出の注目度）: 10.450419633356537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An agent harness, the code that turns a model into an agent, writes its own record of each run, and that record is all a later reader gets when a run is disputed, investigated or audited. We call a record evidentiary when a reader who was not there can check it without trusting the writer. Across sixteen deployed frameworks, none writes one in full. Hearsay examines the record, not the task: five harnesses run fourteen tasks, three blinded LLM examiners and a human panel read the records, and every excerpt an examiner quotes is checked mechanically for who wrote it. First, the record lets a reader name the fault but not prove how the run went. Examiners name the right fault in 74 to 91% of 140 runs, but the fault can be proved only from two files the benchmark adds; for what happened in between, fewer than one citation in ten lands on anything the harness did not write, and the examiner with the fewest false alarms catches half of the entries we delete, rewrite or fabricate. Second, the remedy is a second author, not a stronger seal on the first. An append-only log of what passes between harness and model, kept outside the harness and read against the record in both directions, reports all 28 omissions and fabrications we made a harness commit as it ran, where a hash chain over the harness's own record passes all 28. Handed the log, examiners keep their fault verdicts but rest more of their citations on what the harness did not write. What makes a record evidence is who writes it, not what is captured.
- Abstract（参考訳）: エージェントハーネス(エージェントハーネス)は、モデルをエージェントに変えるコードで、各ランの独自のレコードを書き、ランが論争されたり、調査されたり、監査されたりした場合に、そのレコードは後で読み取られる。
私たちは、そこにいない読者が、ライターを信頼せずにそれを確認できるという記録的明白さを呼んでいます。
16のデプロイされたフレームワークにまたがって、誰も1つをフルに書くことはない。
5つのハーネスが14のタスクを実行し、3人の盲目のLCM検査官と人間のパネルが記録を読み、検査官が引用した全ての引用が機械的に誰が書いたかをチェックする。
第一に、レコードは読者にその失敗を名づけるが、実行の仕方を証明するものではない。
検査官は、140ランのうち74から91%で正しい障害と名付けるが、その欠陥は、ベンチマークが追加する2つのファイルからのみ証明できる。
第2に、治療は第2の著者であり、第1の強い封印ではない。
ハーネスとモデルの間を通り、ハーネスの外を行き来し、ハーネスの両方向のレコードを読み取り、実行時にハーネスがコミットした28の欠落と製造を報告します。
記録を処理して、検査官は欠陥の判定を保ちながら、ハーネスが書かなかったことに関する引用をより多く残した。
記録的な証拠を作るのは、誰がそれを書くかであって、捕獲されたものではありません。
関連論文リスト
- Tracekit: Tamper-Evident Intent-Reasoning-Action Auditing for Autonomous Coding Agents [0.0]
Tracekitは、各エージェントセッションの3つのチャンネルをキャプチャする。人間の質問(インテント)、推論のモデルが何を言ったか(自己報告)、実際に実行されたか(アクション)。
Claude Codeのライフサイクルイベントにフックし、マルチエージェント階層の再構築、事前実行ポリシによるゲートツールコール、SDKまたはHTTP API経由で他のエージェントからのイベントの受け入れ、ブラウザ内の台帳を再検証するライブオブザーバのレンダリングを行う。
論文 参考訳（メタデータ） (2026-09-28T17:22:04Z) - Reading Is Not Leaking: Local, Auditable Measurement and Reduction of Inference Exposure from Public Footprints [0.0]
ターゲットのプライベートな真実に対する推論システムが、どれだけの頻度で記録を読み取るかを示す。
16の合成企業に対する128の質問では、質問のほぼ半分が6人の読者によって正しく答えられることはない。
我々の分析装置は、規則と統計解法と、106M-パラメータエンコーダをスクラッチから訓練し、冗長な証拠をマークし、テキストを決して生成しない。
論文 参考訳（メタデータ） (2026-09-26T12:40:35Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳（メタデータ） (2026-09-16T04:00:54Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。
循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。
そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-25T09:34:18Z) - CatchBench: When Can an Agent Failure Be Caught? [6.230697997280125]
CatchBenchは、監査人の質問を3つの情報状態に分類する。
以前のベンチマークでは、これらの状態の1つを修正したり、テレメトリを変更したりする。
各州は異なる質問を認めており、7つのタスク契約は独自のラベルとメトリクスを持っている。
論文 参考訳（メタデータ） (2026-08-24T05:09:41Z) - FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。
私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。
コストの安いチェックはいつ,モデルが必要なのか?
論文 参考訳（メタデータ） (2026-08-04T09:20:54Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳（メタデータ） (2026-07-29T02:42:56Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence [57.37494162084001]
チェーン・オブ・エビデンス(Chain-of-Evidence, CoE)は、すべてのクレームがエビデンス・ソースにトレース可能であることを要求する検証可能なフレームワークである。
CoE Auditはポストホック監査であり、スコア検証、仕様違反、参照検証、メソッドコードアライメントという4つの整合性チェックが全システムに均一に適用される。
論文 参考訳（メタデータ） (2026-05-25T21:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。