論文の概要: Truth over Tricks: Measuring and Mitigating Shortcut Learning in Misinformation Detection

• arxiv url: http://arxiv.org/abs/2506.02350v1
• Date: Tue, 03 Jun 2025 01:09:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.184909
• Title: Truth over Tricks: Measuring and Mitigating Shortcut Learning in Misinformation Detection
• Title（参考訳）: トリックの真相:誤情報検出におけるショートカット学習の測定と緩和
• Authors: Herun Wan, Jiaying Wu, Minnan Luo, Zhi Zeng, Zhixiong Su,
• Abstract要約: 本稿では,誤情報検出におけるショートカット学習計測のための統一評価パラダイムであるTrathOverTricksを紹介する。 既存の検出器は自然発生のショートカットと逆発生のショートカットの両方に曝露した場合に深刻な性能劣化が生じることを示す。 言い換え, 事実要約, 感情正規化によるショートカット依存を緩和する LLM 拡張データ拡張フレームワーク SMF を提案する。
• 参考スコア（独自算出の注目度）: 17.999891875568075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misinformation detection models often rely on superficial cues (i.e., \emph{shortcuts}) that correlate with misinformation in training data but fail to generalize to the diverse and evolving nature of real-world misinformation. This issue is exacerbated by large language models (LLMs), which can easily generate convincing misinformation through simple prompts. We introduce TruthOverTricks, a unified evaluation paradigm for measuring shortcut learning in misinformation detection. TruthOverTricks categorizes shortcut behaviors into intrinsic shortcut induction and extrinsic shortcut injection, and evaluates seven representative detectors across 14 popular benchmarks, along with two new factual misinformation datasets, NQ-Misinfo and Streaming-Misinfo. Empirical results reveal that existing detectors suffer severe performance degradation when exposed to both naturally occurring and adversarially crafted shortcuts. To address this, we propose SMF, an LLM-augmented data augmentation framework that mitigates shortcut reliance through paraphrasing, factual summarization, and sentiment normalization. SMF consistently enhances robustness across 16 benchmarks, encouraging models to rely on deeper semantic understanding rather than shortcut cues. To promote the development of misinformation detectors, we have published the resources publicly at https://github.com/whr000001/TruthOverTricks.
• Abstract（参考訳）: 誤報検出モデルはしばしば、訓練データにおける誤報と相関する表面的手がかり(すなわち \emph{shortcuts})に依存するが、現実世界の誤報の多様性と進化する性質を一般化することができない。 この問題は大きな言語モデル(LLM)によって悪化し、単純なプロンプトによって容易に説得力のある誤情報を生成することができる。 本稿では,誤情報検出におけるショートカット学習計測のための統一評価パラダイムであるTrathOverTricksを紹介する。 TruthOverTricksはショートカットの動作を内在的ショートカット誘導と外在的ショートカット注入に分類し、14の人気のあるベンチマークで7つの代表検出器と、NQ-MisinfoとStreaming-Misinfoという2つの新しい事実情報データセットを評価する。 実験結果から,既存の検出器は自然発生のショートカットと逆発生のショートカットの両方に曝露した場合,深刻な性能劣化を被ることが明らかとなった。 そこで本稿では, 言い換え, 事実要約, 感情正規化によるショートカット依存を緩和する LLM 拡張データ拡張フレームワーク SMF を提案する。 SMFは16ベンチマークにわたる堅牢性を一貫して強化し、ショートカットキューよりもより深いセマンティック理解をモデルに推奨する。 誤報検出装置の開発を促進するため, https://github.com/whr000001/TruthOverTricks.comで資料を公開した。

関連論文リスト

• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [70.78205685001168]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 UGBenchは、スコープ内暗黙の知識の未学習を評価するために特別に設計された最初のベンチマークである。 確率に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Balancing Truthfulness and Informativeness with Uncertainty-Aware Instruction Fine-Tuning [79.48839334040197]
  インストラクション微調整(IFT)は、大きな言語モデル(LLM)の知性を高めるが、その真偽を減少させる可能性がある。 本稿では,IFTデータセットにおける不慣れな知識がLLMの真偽にどのように悪影響を及ぼすかを実証的に示す。 この問題に対処するために、新しいIFTパラダイムである$UNIT_cut$と$UNIT_ref$を導入します。
  論文  参考訳（メタデータ） (2025-02-17T16:10:30Z)
• Yesterday's News: Benchmarking Multi-Dimensional Out-of-Distribution Generalization of Misinformation Detection Models [15.120606566150816]
  本稿では,誤情報モデルによるアウト・オブ・ディストリビューションの一般化能力を評価するためのベンチマークデータセットであるMissinfo-Generalを紹介する。 一般化のための重要な軸として、時間、イベント、トピック、出版者、政治的偏見、誤情報タイプを識別する。 このモデルがdesiderataをフェールするかを示すが、必ずしも分類基準から明らかではない。
  論文  参考訳（メタデータ） (2024-10-12T09:46:36Z)
• Detect, Investigate, Judge and Determine: A Knowledge-guided Framework for Few-shot Fake News Detection [50.079690200471454]
  Few-Shot Fake News Detection (FS-FND) は、極めて低リソースのシナリオにおいて、非正確なニュースを実際のニュースと区別することを目的としている。 ソーシャルメディア上でのフェイクニュースの拡散や有害な影響により、このタスクは注目を集めている。 本稿では,内外からLLMを増強するDual-perspective Knowledge-Guided Fake News Detection (DKFND)モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-12T03:15:01Z)
• Shortcut Detection with Variational Autoencoders [1.3174512123890016]
  可変オートエンコーダ(VAE)を利用した画像および音声データセットのショートカット検出手法を提案する。 VAEの潜在空間における特徴の分散により、データセット内の特徴目標相関を発見し、MLショートカットに対して半自動評価することが可能になる。 本手法の適用性を実世界のいくつかのデータセットに適用し,これまで発見されていないショートカットを同定する。
  論文  参考訳（メタデータ） (2023-02-08T18:26:10Z)
• Localized Shortcut Removal [4.511561231517167]
  保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。 これはしばしば、機械学習のショートカットの存在が原因である。 我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
  論文  参考訳（メタデータ） (2022-11-24T13:05:33Z)
• Monitoring Shortcut Learning using Mutual Information [16.17600110257266]
  ショートカット学習は、素早い相関を含まない実世界のデータに基づいて評価される。 実験により、MIはメートル法ネットワークのショートカットネットワークとして使用できることが示された。
  論文  参考訳（メタデータ） (2022-06-27T03:55:23Z)
• Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
  トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。 徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
  論文  参考訳（メタデータ） (2021-06-02T08:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。