論文の概要: Evidence Sufficiency and Model Comparisons in MexRegQA: An Item-Level Audit of Mexican-Spanish Regulatory QA

• arxiv url: http://arxiv.org/abs/2610.25710v1
• Date: Mon, 19 Oct 2026 02:54:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:21:12.109357
• Title: Evidence Sufficiency and Model Comparisons in MexRegQA: An Item-Level Audit of Mexican-Spanish Regulatory QA
• Title（参考訳）: MexRegQAの有効性とモデル比較:メキシコ-スペインの規制QAの項目レベル監査
• Abstract要約: 類似性に制限されたカバレッジは、検索された証拠が質問に答えるために必要な事実を含んでいることを証明していない。 我々は、メキシコとスペインの金融規制に関するQAを監査し、135項目のうち35項目に、負荷のある事実が欠落していることを発見した。
• 参考スコア（独自算出の注目度）: 1.4814673846168722
• License:
• Abstract: Similarity-gated coverage does not establish that retrieved evidence contains the facts needed to answer a question. We audit Mexican-Spanish financial-regulatory QA and find that 35 of 135 covered items lack some or all load-bearing facts. On the post-hoc full-evidence slice (n=98), eleven prompt-matched models score 95-98/98 and none differs significantly from the anchor; this does not establish equivalence. Removing evidence-defective items changes the nominal significance status of 14 of 55 pairwise comparisons. On 56 zero-evidence items, accuracy spans 33.9%-89.3%. Removing evidence from the audited items under an abstention-permitting prompt reduces accuracy by 63-81 percentage points in all ten tested legs, with no recovered items. Building on sufficient-context research, we contribute MexRegQA v1.0: 192 items with provenance and evidence-status labels, frozen retrieval evidence for 191 evaluated items, predictions, judge outputs and offline checks. The audit was outcome-aware, the later model/panel sweep reused the same questions, and all reported scores and labels rely on machine evaluation without independent human validation. We propose releasing evidence-status labels alongside grounded QA benchmarks so that model comparisons can be examined separately from evidence availability.
• Abstract（参考訳）: 類似性に制限されたカバレッジは、検索された証拠が質問に答えるために必要な事実を含んでいることを証明していない。 我々は、メキシコとスペインの金融規制に関するQAを監査し、135項目のうち35項目に、負荷のある事実が欠落していることを発見した。 ポストホックのフルエビデンススライス(n=98)では、11個のプロンプトマッチングモデルが95-98/98をスコアし、アンカーと大きく異なるものはない。 証拠欠陥項目の削除は、55のペア比較のうち14の目立った重要性のステータスを変化させる。 56のゼロエビデンス項目では、精度は33.9%-89.3%である。 被検査物から無拘束で証拠を取り除いた場合,全10肢で63-81ポイントの精度が低下し,回収品は得られなかった。 十分なコンテクスト調査に基づいて,MexRegQA v1.0:192項目の証明と証拠統計ラベル,191項目の凍結検索証拠,予測,判断出力,オフラインチェックをコントリビュートする。 監査は結果に気付き、後のモデル/パネルスイープは同じ質問を再利用し、報告されたスコアとラベルはすべて、独立した人間の検証なしにマシン評価に依存した。 実験結果からモデル比較を別々に検討できるように,基礎となるQAベンチマークとともにエビデンス統計ラベルを公開することを提案する。

関連論文リスト

• Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
  より強力なモデルで対処されていない障害モードを特定します。 文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
  論文  参考訳（メタデータ） (2026-09-23T23:52:24Z)
• What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs [10.720985236309462]
  FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換え、厳格なスコアを9.61ポイント引き上げた。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。
  論文  参考訳（メタデータ） (2026-09-22T21:02:40Z)
• Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA [0.0]
  埋め込み条件に証拠を移動させることで精度が低下し、強制宣言が増加し、ツールコールが増加し、正解当たりのコストが増加した。 信頼性とベンチマークのキャリブレーションは、誤った回答を完全には捉えなかった。 エージェント評価には、クレームレベルのレシート(ステートメントレベルの証明、回答レベルのスコアではない)、条件対応スコア、人間対人検証が必要である。
  論文  参考訳（メタデータ） (2026-09-14T10:11:58Z)
• What the Window Does Not Contain: Auditing Provenance in a Document-Grounded Instability Benchmark [0.0]
  私たちは60のタスクと470のアイテムのベンチマークを作成しました。 私たちは自身のコーパスを監査し、Exerptで構築されたベンチマークが持てる欠陥を見つけました。 コーパスと112,800の生のレスポンスをすべてリリースし、あらゆるドキュメントベンチマークの実行可能なチェックとして監査を行います。
  論文  参考訳（メタデータ） (2026-09-05T15:43:05Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Auditing Empirical Comparisons in Quantum Software [2.384717245145118]
  実証的な量子ソフトウェア論文では、あるコンパイラ、バックエンド、あるいはアザッツが別のコンパイラよりも優れていると報告されることが多い。 既存のテスト、ベンチマーク、メソッドは、プログラム、ツール、実行、プラットフォームを評価するのに役立つ。 CLAIMSTAB-QCは、量子ソフトウェアにおける経験的比較を監査するための、ソースバウンドなフレームワークである。
  論文  参考訳（メタデータ） (2026-07-01T07:02:46Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• Variations in Relevance Judgments and the Shelf Life of Test Collections [50.060833338921945]
  ニューラル検索設定における先行研究を再現し、評価者の不一致がシステムランキングに影響を及ぼさないことを示す。 我々は、新しい関係判断によって、いくつかのモデルが著しく劣化し、既にランク付け者としての人間の有効性に到達していることを観察した。
  論文  参考訳（メタデータ） (2025-02-28T10:46:56Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。