論文の概要: ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations
- arxiv url: http://arxiv.org/abs/2609.01992v1
- Date: Wed, 02 Sep 2026 02:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.028023
- Title: ClaimReceipt: Verifying Evidence Sufficiency and Coverage in Agent Evaluations
- Title（参考訳）: ClaimReceipt: エージェント評価におけるエビデンスとカバレッジの検証
- Abstract要約: ClaimReceiptは、型付きトランザクションエビデンスを署名された実験マニフェストにバインドし、クレーム毎にPASS、INVALID、INCONCLUSIVEを返す。
1,392の歴史的買い手-売り手記録では、CR-2検証者は手動でラベル付けされた監査の評定を全て再現し、600の決定論的および762のポストジェネレーションレコードを正確に再生する。
推論の前に30のアサインがコミットされ、端末のレシートが署名され、連鎖され、監査人のためにプライベートエビデンスが暗号化される。
- 参考スコア（独自算出の注目度）: 0.39287497907611874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent evaluations face two distinct evidentiary questions: whether a reported claim is recomputable from retained evidence (sufficiency), and whether the retained records cover the committed experiment set (coverage). Generic logs and hash-linked transcripts answer neither reliably. We introduce ClaimReceipt, a claim-relative receipt specification and selective verifier that binds typed transaction evidence to a signed experiment manifest and returns PASS, INVALID, or INCONCLUSIVE per claim. We freeze the specification before implementation (SHA-256 18d109...b81). On 1,392 historical buyer--seller records, a CR-2 verifier reproduces all five manually labeled audit verdicts, exactly replays 600 deterministic and 792 post-generation records, makes every one of 13 declared field groups non-redundant under tested ablations, and returns the expected result on 11/11 semantic faults with 0/8 false positives. We then run a separate prospective CR-3 epoch: 30 assignments are committed before inference, terminal receipts are signed and chained, and private evidence is encrypted for an auditor. Complete evidence yields coverage and accounting PASS; withholding one terminal receipt returns INCONCLUSIVE_COVERAGE, while withholding all private openings preserves coverage and protocol verification but makes economic claims inconclusive, exactly matching a preregistered prediction. Receipt instrumentation adds 0.021% of model-inference time and 9.9 KB per transaction. A specification-legibility probe indicates that our own frozen specification is not yet unambiguous to an independent reader. Claim verification therefore requires both claim-sufficient evidence and a committed universe against which omissions become visible.
- Abstract（参考訳）: エージェント評価は、報告されたクレームが保持された証拠(十分性)から再計算可能かどうか、保持された記録がコミットされた実験セット(カバレッジ)をカバーするかどうかという2つの明確な明らかな疑問に直面している。
ジェネリックログとハッシュリンクされた書き起こしは、確実には答えない。
ClaimReceiptはクレーム関係のレシート仕様であり, タイプされた取引証拠を署名された実験結果にバインドし, PASS, INVALID, INCONCLUSIVEを1クレーム毎に返却する選択検証器である。
実装前に仕様を凍結する(SHA-256 18d109...b81)。
1,392の歴史的買い手-売り手記録では、CR-2検証者は手動でラベル付けされた監査の評定を全て再現し、600の決定論的および762のポストジェネレーションレコードを正確に再生し、13の宣言されたフィールドグループのうちの1つ全てを、テストされたアブレーションの下で非冗長にし、0/8の偽陽性の11/11のセマンティックフォールトで期待された結果を返す。
推論の前に30のアサインがコミットされ、端末のレシートが署名され、連鎖され、監査人のためにプライベートエビデンスが暗号化される。
完全な証拠は、カバーと会計のPASSをもたらし、1つの端末のレシートを保持すれば、INCONCLUSIVE_COVERAGEが返却され、全てのプライベートオープンはカバーとプロトコルの検証を保持するが、経済的クレームは決定的ではなく、登録済みの予測と正確に一致している。
レセプトインスツルメンテーションでは、モデル推論時間の0.021%とトランザクション当たり9.9KBが加算される。
仕様適性調査は、我々のフリーズ仕様が独立読者にとってまだ明らかでないことを示している。
したがって、クレームの検証には、クレームに十分満足する証拠と、省略物が見えるようなコミットされた宇宙の両方が必要である。
関連論文リスト
- VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Zero-Knowledge Predicate Proofs Between AI Agents: A Measured, Cross-Protocol Gateway and the Source-Integrity Gap [0.0]
マルチエージェントAIプラットフォームは、ステージングからプロダクションへ素早く移行するが、エージェントが信頼を確立する方法はまだ初歩的だ。
提案から実行システムまで,エージェント間での検証可能なデータ最小化を行う。
32ビットのしきい値述語は6.2msで証明され、608バイトのBulletproofs証明で1.0msで検証される。
論文 参考訳（メタデータ） (2026-08-30T23:16:17Z) - From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T13:37:38Z) - Evidence-Ledger Adjudication for Claim-Evidence Traceability [0.45743735246920414]
本稿では,エビデンス・レジャーの判断,すなわちクレーム・エビデンス・トレーサビリティ・ワークフローについて検討する。
それぞれのクレームとエビデンスパケットをペアにし、サポート関係を割り当てる。
その結果,エビデンスリーダの判断は,異質なエビデンスパケットをAI支援書込みのための監査可能なトレーサビリティ層にすることができることがわかった。
論文 参考訳（メタデータ） (2026-07-29T06:22:53Z) - Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis [2.7092559671391]
OpenScholarやPaperQA2のようなエージェントLLMシステムは科学論文を読み、引用された回答を返す。
どちらもそのチェックの信頼性を監査しません。
私たちはそれが信頼できないこと、そしてこれが重要であることを示します。
本報告では,ゴールドアンコール評価プロトコルとデプロイ可能なガードについて述べる。
論文 参考訳（メタデータ） (2026-07-10T02:05:17Z) - Claim-Selective Certification for High-Risk Medical Retrieval-Augmented Generation [0.0]
混在した証拠は、ある主張を支持し、別の主張の条件を必要とし、第三の主張に矛盾する可能性がある。
我々は、クレーム選択応答を検証可能なクレームに検証し、回収された証拠に対して評価し、インテントを意識したセレクタによって完全な、部分的、紛争、棄却にマッピングする。
結果として生じるインターフェースは、アクションラベル予測と、混在する証拠の下でのエビデンスリンクされたクレーム選択を分離する。
論文 参考訳（メタデータ） (2026-05-21T03:29:50Z) - Preregistered Belief Revision Contracts [2.28438857884398]
PBRC(Preregistered Belief Revision Contracts)は,オープン通信と許容可能な変更を分離するプロトコルレベルのメカニズムである。
PBRC契約は、ファーストオーダーのエビデンストリガー、許容可能なリビジョンオペレータ、優先ルール、フォールバックポリシーを公に修正する。
本報告では,信頼軌道と正準化された監査トレースを保存したPBRC正規形式を,監査可能なトリガープロトコルで認めていることを示す。
論文 参考訳（メタデータ） (2026-04-16T22:22:54Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳（メタデータ） (2023-10-18T02:59:38Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳（メタデータ） (2023-05-19T17:49:19Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳（メタデータ） (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。