論文の概要: White Box Evidence Packages for Policy Audit Reports
- arxiv url: http://arxiv.org/abs/2607.21462v1
- Date: Thu, 23 Jul 2026 16:06:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.474864
- Title: White Box Evidence Packages for Policy Audit Reports
- Title（参考訳）: ホワイトボックスのエビデンス・パッケージ、政策監査報告書に
- Abstract要約: 内部的な証拠は、報告書の引用方法や証拠に関する理由を変えるが、内部的な引用自体がレポートをより有効にしないことを示す。
この研究は、透明性の保証ではなく、監査のためのエビデンス設計問題として、内部モデルアクセスを再設計する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI governance moves from benchmark scores toward auditable oversight, a central question is how reviewers can tell whether an LLM-generated audit report is actually supported by evidence. This paper studies that question in passage-anchored policy audits, where a report must interpret a given policy passage and cite evidence for its claims. We introduce a controlled evaluation framework that holds the passage, rubric, and auditor model fixed while changing only the evidence interface supplied to the auditor. Across 60 AGORA policy cases, we generate 600 structured reports under ten evidence conditions, including passage-based evidence, internal model evidence, a hybrid package, and a shuffled control that preserves evidence format while breaking case relevance. Five human reviewers evaluate the primary interfaces for correctness, passage grounding, diagnostic usefulness, and evidence misuse. The results show that internal evidence changes how reports cite and reason about evidence, but more internal citations do not by themselves make a report more valid. A white-box diagnostic explains the failure mode: causal localization is narrow, while reports readily reuse broader readable labels and token directions. The hybrid interface is the most useful on average, while the shuffled control exposes a key governance risk: reports can sound substantively plausible while citing irrelevant internal evidence. This study reframes internal model access as an evidence design problem for audit workflows, rather than as a guarantee of transparency.
- Abstract（参考訳）: AIガバナンスがベンチマークスコアから監査可能な監視へと移行するにつれ、レビュアーがLCMが生成した監査レポートが実際に証拠によって裏付けられているかどうかを判断する方法が中心的な疑問となっている。
本論では, 報告が所定の方針書を解釈し, その主張の証拠を引用する, 通訳政策監査における課題について考察する。
本研究では,監査者に供給されるエビデンスインターフェースのみを変更しながら,パス,ルーリック,監査モデルを固定した制御された評価フレームワークを提案する。
60件以上のAGORA政策事例では, パスベースエビデンス, 内部モデルエビデンス, ハイブリッドパッケージ, シャッフルドコントロールを含む, 10 件のエビデンス条件下で600件の構造化レポートを生成し, 事件関連性を破りつつエビデンスフォーマットを保存している。
5人の人間レビュアーは、正確性、通路の接地、診断的有用性、証拠誤用の主要なインターフェースを評価する。
その結果、内部の証拠は、報告書の引用方法や証拠に関する理由を変えるが、内部の引用自体がより有効であるとは限らないことが示されている。
因果ローカライゼーションは狭く、レポートは読みやすいラベルやトークンの方向を簡単に再利用できます。
ハイブリッドインターフェースは平均的に最も有用であるが、シャッフルコントロールは主要なガバナンスリスクを露呈している。
この研究は、内部モデルアクセスを透明性の保証ではなく、監査ワークフローのエビデンス設計問題として再設定する。
関連論文リスト
- From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T13:37:38Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳（メタデータ） (2026-07-27T23:50:46Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳（メタデータ） (2026-07-19T15:20:40Z) - Auditing the Audit: Five Failure Modes in Benchmark-Validity Audits [0.30586855806896046]
パイプライン障害を5つのクラスに分類し、安全ベンチマークとオープンウェイトなインストラクションチューニングモデルによる自己監査を行った。
我々は、ゲートを保証グレードの証拠の保持および開示のプロトコルとして位置づけ、古典的な構成正当性証拠を補足する(置き換えるものではない)。
論文 参考訳（メタデータ） (2026-07-01T05:30:07Z) - RW-Post: Auditable Evidence-Grounded Multimodal Fact-Checking in the Wild [9.55806677152407]
RW-Postは、実世界のマルチモーダルなファクトチェックのための、ポストアラインなtextbftext-imageベンチマークである。
RW-Postは、クローズドブック、エビデンスバウンド、オープンウェブレジーム間の制御評価をサポートする。
論文 参考訳（メタデータ） (2026-05-11T11:04:04Z) - Case-Grounded Evidence Verification: A Framework for Constructing Evidence-Sensitive Supervision [1.7044563989708406]
ケースグラウンドによる証拠検証を導入する。
得られたサポートタスクに対して標準検証器をトレーニングする。
結果は、根拠となる証拠の大きなボトルネックは、モデル能力だけでなく、監督の欠如にあることを示唆している。
論文 参考訳（メタデータ） (2026-04-10T17:55:38Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - D-SECURE: Dual-Source Evidence Combination for Unified Reasoning in Misinformation Detection [9.049034101566642]
マルチモーダルな誤報は、現実的な即興編集と、流動的だが誤解を招くテキストを混在させ、検証が難しい説得的な投稿を生み出している。
D-SECUREは、内部操作検出と外部エビデンスに基づくニューススタイル投稿の推論を組み合わせたフレームワークである。
論文 参考訳（メタデータ） (2026-02-16T03:51:49Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳（メタデータ） (2023-10-18T02:59:38Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。