論文の概要: When Claims Evolve: Evaluating and Enhancing the Robustness of Embedding Models Against Misinformation Edits

• arxiv url: http://arxiv.org/abs/2503.03417v2
• Date: Thu, 06 Mar 2025 11:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 12:14:41.723005
• Title: When Claims Evolve: Evaluating and Enhancing the Robustness of Embedding Models Against Misinformation Edits
• Title（参考訳）: クレームの進化:誤情報編集に対する埋め込みモデルのロバスト性の評価と改善
• Authors: Jabez Magomere, Emanuele La Malfa, Manuel Tonneau, Ashkan Kazemi, Scott Hale,
• Abstract要約: 本稿では,6つの一般的な実世界の誤情報編集の分類を導入し,有効で自然なクレーム変動を生成する摂動フレームワークを提案する。 標準の埋め込みモデルはユーザによる編集に苦労するが、LCMの埋め込みは高い計算コストで堅牢性を向上する。 本研究は,クレームマッチングシステムに実用的な改良を加え,より信頼性の高い偽情報の事実チェックを可能にした。
• 参考スコア（独自算出の注目度）: 5.443263983810103
• License:
• Abstract: Online misinformation remains a critical challenge, and fact-checkers increasingly rely on embedding-based methods to retrieve relevant fact-checks. Yet, when debunked claims reappear in edited forms, the performance of these methods is unclear. In this work, we introduce a taxonomy of six common real-world misinformation edits and propose a perturbation framework that generates valid, natural claim variations. Our multi-stage retrieval evaluation reveals that standard embedding models struggle with user-introduced edits, while LLM-distilled embeddings offer improved robustness at a higher computational cost. Although a strong reranker helps mitigate some issues, it cannot fully compensate for first-stage retrieval gaps. Addressing these retrieval gaps, our train- and inference-time mitigation approaches enhance in-domain robustness by up to 17 percentage points and boost out-of-domain generalization by 10 percentage points over baseline models. Overall, our findings provide practical improvements to claim-matching systems, enabling more reliable fact-checking of evolving misinformation.
• Abstract（参考訳）: オンラインの誤報は依然として重要な課題であり、ファクトチェッカーは、関連するファクトチェックを取得するための埋め込みベースの方法にますます依存している。 しかし、未発表のクレームが編集形式で再現れると、これらの手法の性能は不明確である。 本研究では,6つの一般的な実世界の誤情報編集の分類を導入し,有効で自然なクレーム変動を生成する摂動フレームワークを提案する。 マルチステージ評価の結果,標準埋込モデルではユーザによる編集が困難であり,LCM蒸留埋込モデルでは高い計算コストでロバスト性の向上が期待できることがわかった。 強いリランカはいくつかの問題を緩和するのに役立つが、第一段階の検索ギャップを完全に補うことはできない。 これらの検索ギャップに対処するため、列車と推論時間の緩和手法により、ドメイン内のロバスト性は最大17ポイント向上し、ベースラインモデルよりも10ポイント向上した。 全体として,本研究はクレームマッチングシステムに実用的な改善をもたらし,より信頼性の高い偽情報の事実チェックを可能にした。

関連論文リスト

• Is Difficulty Calibration All We Need? Towards More Practical Membership Inference Attacks [16.064233621959538]
  我々は,textbfRe-levertextbfA を直接 textbfRe-levertextbfA を用いて mtextbfItigate the error in textbfDifficulty calibration を提案する。
  論文  参考訳（メタデータ） (2024-08-31T11:59:42Z)
• How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models [95.44559524735308]
  大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。 我々は,知識伝達の初期研究を通じて,継続的な更新を行うことなく基礎モデルの性能向上の限界をテストする。 最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。
  論文  参考訳（メタデータ） (2024-06-29T08:39:07Z)
• How We Refute Claims: Automatic Fact-Checking through Flaw Identification and Explanation [4.376598435975689]
  本稿では、アスペクト生成や欠陥識別を含む、欠陥指向の事実チェックの新たな課題について検討する。 また、このタスク用に特別に設計された新しいフレームワークであるRefuteClaimを紹介します。 既存のデータセットが存在しないことから、専門家のレビューから洞察を抽出して変換して、関連する側面に変換し、欠陥を特定したデータセットであるFlawCheckを紹介します。
  論文  参考訳（メタデータ） (2024-01-27T06:06:16Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Retrieval-guided Counterfactual Generation for QA [5.434621727606356]
  質問応答のための偽物作成の課題に焦点をあてる。 本研究では,逆実効評価とトレーニングデータを作成するRetrieve-Generate-Filter手法を開発した。 RGFデータは局所摂動に対するモデルの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-10-14T17:56:37Z)
• Towards Robust and Reliable Algorithmic Recourse [11.887537452826624]
  モデルシフトに堅牢なリコースを見つけるための敵対的トレーニングを活用する新しいフレームワークであるRObust Algorithmic Recourse(ROAR)を提案します。 また,モデルシフトにロバストなリコースの構築の重要性を強調する詳細な理論解析を行う。
  論文  参考訳（メタデータ） (2021-02-26T17:38:52Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。