論文の概要: What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark
- arxiv url: http://arxiv.org/abs/2609.06147v1
- Date: Sat, 05 Sep 2026 15:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.209388
- Title: What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark
- Title（参考訳）: ウィンドウが含まないもの
- Abstract要約: 私たちは60のタスクと470のアイテムのベンチマークを作成しました。
私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。
コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ask a language model the same question about the same document twenty times, and it sometimes returns two different answers. We built Probity, a benchmark of 60 tasks and 470 items from real venture-financing filings, to measure how often this happens. Then we audited our own corpus and found a defect any excerpt-built benchmark can carry: items whose evidence is missing from the window of text the model is shown. The audit flags 36 items and separates two failures a single flag would conflate: evidence genuinely absent from the window and answers that must be computed from numbers the window does supply. Flagged items change their answers far more often, wobbling at 0.255 against 0.087 on the 427 clean items, and excluding them cuts apparent cross-model agreement by about a fifth. Before testing whether the missing evidence explains the instability, we registered a prediction: re-cut each window to hold its evidence, and instability should fall below a set threshold. It failed: the repair moved wobble by 0.058, with an interval containing zero. We report the association as correlational. Almost all measurements sit where instability cannot show, which bounds what a corpus built for accuracy can say about stability. We release the corpus, all 112,800 raw responses, and the audit as a runnable check for any document benchmark.
- Abstract（参考訳）: 言語モデルは、同じドキュメントについて20回同じ質問をし、時には2つの異なる回答を返す。
Probityは60のタスクと470のアイテムのベンチマークを、実際のベンチャー投資申請から作成しました。
そして、私たちは自身のコーパスを監査し、抜粋で構築されたベンチマークが持てる欠陥を見つけました。
監査フラグは36の項目を指定し、1つのフラグで2つの障害を分離する: ウィンドウから真に欠落している証拠と、ウィンドウが供給する数字から計算しなければならない答えである。
フラッグアイテムは回答をはるかに頻繁に変更し、427のクリーンアイテムで0.255で0.087でワーブルし、それを除いて、明らかにクロスモデル契約を約5分の1削減した。
行方不明の証拠が不安定性を説明するかどうかをテストする前に、私たちは、その証拠を保持するために各ウィンドウを再切断し、不安定性は設定されたしきい値を下回るべきである、という予測を登録しました。
修理は0.058回転し、間隔は0であった。
我々はその関連を相関関係として報告する。
ほぼすべての測定値が不安定性を示すことができない位置にある。
コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
関連論文リスト
- You've Got a BUD in Me: Authenticated Reads from Per-Block Write Logs [41.99844472131922]
我々は,各ブロックの書き込みを認証することで,バリデータがどのように過去のメンバシップや排除証明をサポートできるかを示す。
Block Update Digestは、前のポインタが各キーの連続的な変更をリンクする書き込みログをコミットする。
SuperBUDはウィンドウ上で最後の書き込みを要約する。指数的階層は長い一定間隔を短い証明に変換する。
論文 参考訳（メタデータ） (2026-09-10T08:46:09Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - Fidelity Is Not Enough: Dispatch-Level Instrumentation for Agentic Datasheet Extraction [6.419341495897254]
3つのコンポーネントに対して25のハンドキュレートされたクレームのエージェントベンチマークで、すべてのツールコールをログします。
ルールベースの障害帰属分類器と、2つのルールがどのツールが呼び出されたかのみをチェックするサイレント障害検出器の2つを構築しました。
論文 参考訳（メタデータ） (2026-08-28T15:25:12Z) - TrustDABench: Benchmarking Reliability and Robustness of LLMs for Structured Data Analysis [42.62413276719373]
信頼できる結果は、ユーザ質問から関連するデータエビデンスへの有効なパスによってサポートされるべきである。
この要件は2つの診断質問を生成する: LLMがそのような経路が存在しない場合、答えを拒否するか、明確化を求めることができるか、同じ証拠が異なる表形式で表現された場合、正しい分析を維持できるかである。
信頼性と堅牢性としてこれらの質問を運用するベンチマークであるTrustDABenchを紹介します。
論文 参考訳（メタデータ） (2026-08-25T07:09:01Z) - From Traceability to Justifiability: Accountability Structures in Agentic Software Engineering [0.0]
公開資料のみから、AIレコードがクレームを表現できるかどうか、宣言された場所を保持できるかどうかを測定する。
188個の二重グレード細胞で、デフォルトレコードが行動システムのコンテンツアイデンティティを出力するプラットフォームは見つからなかった。
計器は、パイプラインが発行した排気のみからの保証深度を計算し、宣言された深さと比較する。
論文 参考訳（メタデータ） (2026-08-21T16:45:00Z) - Projecting BrowseComp-Plus onto ClimbMix: Toward More Realistic Corpora for Agentic Search [40.897106650424035]
BrowseComp-Plusベンチマークは、不透明なWeb検索を固定コーパスに置き換えることで、エージェント検索の評価を阻害した。
我々はBrowseComp-Plus_textCM$を導入し、BrowseComp-Plusの質問を保存しますが、その証拠はClimbMixに移動します。
私たちの主なコントリビューションは、これを可能にするプロジェクションパイプラインです。
論文 参考訳（メタデータ） (2026-08-20T17:54:48Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。
私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。
コストの安いチェックはいつ,モデルが必要なのか?
論文 参考訳（メタデータ） (2026-08-04T09:20:54Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Faults in Our Formal Benchmarking: Dataset Defects and Evaluation Failures in Lean Theorem Proving [13.87786274932945]
リーンで証明されたLCM支援定理のベンチマークは、すべての解決されたインスタンスがマシンチェックされた証明を持ってくるため、本質的に信頼できるものとして扱われることが多い。
コーパススケールの静的チェッカーを用いて4,833個の結果を得た。
本稿では,フォールト分類法,自動チェッカーとリコール指向のセマンティック監査プロンプト,および公式な数学データセットの作成を導くための標準リリースを提案する。
論文 参考訳（メタデータ） (2026-06-28T16:46:36Z) - SpatialBench-UC: Uncertainty-Aware Evaluation of Spatial Prompt Following in Text-to-Image Generation [0.0]
SpaceBench-UCは、ペアの空間関係を再現可能な小さなベンチマークである。
ベンチマークパッケージ、バージョン付きプロンプト、ピン付き構成、サンプルごとのチェッカー出力、レポートテーブルをリリースします。
安定拡散1.5, SD 1.5 BoxDiff, SD 1.4 GLIGENの3つのベースラインについて検討した。
論文 参考訳（メタデータ） (2026-01-19T23:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。