Fugu-MT 論文翻訳(概要): No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection

論文の概要: No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection

arxiv url: http://arxiv.org/abs/2610.04888v1
Date: Sun, 04 Oct 2026 02:53:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-11 08:16:57.380492
Title: No Hindsight for LLM Fact-Checkers: Measuring Leakage Channels in Misinformation Detection
Title（参考訳）: LLM Fact-Checkers の隠れ注意:誤情報検出における漏洩チャネルの測定
Abstract要約: 2つのチャンネルは簡単に説明できる: 事前のトレーニングで記憶された結果と、クレーム後に公表された証拠の回収。 AVeriTeC と QuanTemp++ の両チャネルを、ポイントインタイムのエビデンス条件の再構築と、モデル表現に符号化された結果情報の探索により測定する。集約精度によって隠蔽できるパラメトリックリークのかなりの証拠が見つかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As automated fact-checking scales on social media, large language model (LLM) verdict scores can look stronger than warranted. One reason is that evaluations mix in information that was not knowable at claim time. Two channels are easy to conflate: outcomes memorized in pre-training and retrieved evidence published after the claim. Yet standard benchmarks rarely separate the two. In this study we measure both channels on AVeriTeC and QuanTemp++ by reconstructing point-in-time evidence conditions and probing for outcome information encoded in model representations. We find substantial evidence of parametric leakage, that can be hidden by the aggregate accuracy, while a simple representation bottleneck reduces this future leakage more efficiently than a mutual-information-based training penalty. We also find that allowing post-claim evidence inflates zero-shot accuracy by 6.3 points in AVeriTeC while the effect is negligible in QuanTemp++, where retrieval provides little post-claim evidence. These results show that misinformation benchmarks can overstate fact-checking performance when they do not account for what information was actually available at claim time.
Abstract（参考訳）: ソーシャルメディア上でのファクトチェックの自動化によって、大きな言語モデル(LLM)の判定スコアは保証されるよりも強く見える。一つの理由は、評価がクレーム時に理解できなかった情報に混ざっているからです。 2つのチャンネルは簡単に説明できる: 事前のトレーニングで記憶された結果と、クレーム後に公表された証拠の回収。しかし、標準ベンチマークでは2つを分離することは滅多にない。本研究では,AVeriTeC と QuanTemp++ の両チャネルを,ポイント・イン・タイムのエビデンス条件の再構築と,モデル表現に符号化された結果情報の探索により測定する。集約精度によって隠蔽できるパラメトリックリークのかなりの証拠が得られ、一方、単純な表現ボトルネックは、相互情報に基づくトレーニングペナルティよりも、この将来のリークを効率的に減少させる。また,AVeriTeCでは0ショット精度が6.3ポイント向上し,その効果はQuanTemp++では無視される。これらの結果から,偽情報ベンチマークは,クレーム時に実際に入手できた情報を考慮しない場合に,事実確認性能を過大に評価できることが示された。

関連論文リスト

When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
論文参考訳（メタデータ） (2026-09-29T12:13:56Z)
Evaluating and Improving Evidence-Grounded Fact-Checking in LLMs via Multi-Round Evidence Ablation [28.999694748110404]
市販のファクトチェックシステムは、提供された証拠よりもパラメトリックな知識に依存していることを示す。本稿では,証拠に依存した検証を促進するトレーニングフレームワークであるREAL(Rigorous Evidence Ablation Learning)を提案する。以上の結果から,強い事実チェック性能と弱い証拠依存性が共存する可能性が示唆された。
論文参考訳（メタデータ） (2026-09-08T16:04:20Z)
A Benchmark for Open-Domain Numerical Fact-Checking Enhanced by Claim Decomposition [7.910984819642885]
QuanTemp++は、自然の数値的クレーム、オープンドメインコーパスからなるデータセットであり、各クレームに関する関連する証拠がある。キークレーム分解パラダイムの検索性能を特徴付ける。
論文参考訳（メタデータ） (2025-10-24T22:37:13Z)
The Missing Parts: Augmenting Fact Verification with Half-Truth Detection [20.011177314734887]
多くの現実世界の主張は半真実であり、実際は正しいが、批判的な文脈が欠落しているために誤解を招く。我々は,半真実検出の課題を紹介し,文レベルの証拠アライメントと推論されたクレーム意図を付加した15kの政治的クレームを備えた新しいベンチマークであるPolitiFact-Hiddenを提案する。提案するTRACERは,エビデンスを整理し,インプリートを推定し,隠されたコンテンツの因果的影響を推定することにより,省略に基づく誤報を識別するモジュラー・リアセスメント・フレームワークである。
論文参考訳（メタデータ） (2025-08-01T10:06:38Z)
(Fact) Check Your Bias [0.0]
パラメトリック知識バイアスがHerOシステム(FEVER-25のベースライン)の事実チェック結果に与える影響について検討する。 Llama 3.1は、直接、事実検証を行うよう促されたとき、その主張の半分近くを"Not Enough Evidence"とラベル付けしている。第2の実験では,支持,反感,中立性のある事実チェック文書を生成するようモデルに促す。この結果から得られた証拠の約50%は,各視点に固有のものであるとともに,検索結果に大きく影響する。得られた証拠の相違にもかかわらず、最終的な判定予測は、迅速な戦略をまたいだ安定性を示す。
論文参考訳（メタデータ） (2025-06-26T20:03:58Z)
Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
論文参考訳（メタデータ） (2025-06-16T10:32:10Z)
Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。データセットの精度は6%向上した。
論文参考訳（メタデータ） (2024-10-07T00:09:50Z)
FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文参考訳（メタデータ） (2023-10-18T16:27:49Z)
Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
論文参考訳（メタデータ） (2023-05-24T07:30:08Z)
Implicit Temporal Reasoning for Evidence-Based Fact-Checking [14.015789447347466]
本研究は,証拠に基づく事実検証のクレーム検証プロセスに時間的効果が有意な影響を及ぼすことを示す。本研究は, 時間情報の存在と, タイムラインの構築方法が, 事実確認モデルが証拠文書の関連性, サポート, 反証性を決定する方法に大きく影響していることを示す。
論文参考訳（メタデータ） (2023-02-24T10:48:03Z)
Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文参考訳（メタデータ） (2022-10-25T09:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。