論文の概要: How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models

• arxiv url: http://arxiv.org/abs/2407.00369v1
• Date: Sat, 29 Jun 2024 08:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 03:35:30.617842
• Title: How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models
• Title（参考訳）: ファクト検証のトレーニング方法:マルチモーダルオープンモデルによる知識伝達
• Authors: Jaeyoung Lee, Ximing Lu, Jack Hessel, Faeze Brahman, Youngjae Yu, Yonatan Bisk, Yejin Choi, Saadia Gabriel,
• Abstract要約: 大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。 我々は,知識伝達の初期研究を通じて,継続的な更新を行うことなく基礎モデルの性能向上の限界をテストする。 最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。
• 参考スコア（独自算出の注目度）: 95.44559524735308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the growing influx of misinformation across news and social media, there is a critical need for systems that can provide effective real-time verification of news claims. Large language or multimodal model based verification has been proposed to scale up online policing mechanisms for mitigating spread of false and harmful content. While these can potentially reduce burden on human fact-checkers, such efforts may be hampered by foundation model training data becoming outdated. In this work, we test the limits of improving foundation model performance without continual updating through an initial study of knowledge transfer using either existing intra- and inter- domain benchmarks or explanations generated from large language models (LLMs). We evaluate on 12 public benchmarks for fact-checking and misinformation detection as well as two other tasks relevant to content moderation -- toxicity and stance detection. Our results on two recent multi-modal fact-checking benchmarks, Mocheg and Fakeddit, indicate that knowledge transfer strategies can improve Fakeddit performance over the state-of-the-art by up to 1.7% and Mocheg performance by up to 2.9%.
• Abstract（参考訳）: ニュースやソーシャルメディアにおける誤情報の増加を考えると、ニュースクレームを効果的にリアルタイムに検証できるシステムには重要なニーズがある。 大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。 これらは、人間のファクトチェッカーの負担を軽減する可能性があるが、基礎モデルのトレーニングデータが時代遅れになることにより、そのような努力が妨げられる可能性がある。 本研究では,既存のドメイン内およびドメイン間ベンチマークを用いた知識伝達の初期研究や,大規模言語モデル(LLM)から生成された説明を通じて,継続的な更新を行うことなく,基礎モデルの性能向上の限界をテストする。 ファクトチェックと誤情報検出のための12の公開ベンチマークと、コンテンツモデレーションに関連する2つのタスク – 毒性とスタンス検出 – を評価する。 最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。

関連論文リスト

• Detect, Investigate, Judge and Determine: A Novel LLM-based Framework for Few-shot Fake News Detection [47.01850264003063]
  Few-Shot Fake News Detectionは、極めて低リソースのシナリオにおいて、不正確なニュースを実際のニュースと区別することを目的としている。 ソーシャルメディア上でのフェイクニュースの拡散や有害な影響により、このタスクは注目を集めている。 そこで本稿では,大規模言語モデルの拡張を目的としたDual-perspective Augmented Fake News Detectionモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-12T03:15:01Z)
• Re-Search for The Truth: Multi-round Retrieval-augmented Large Language Models are Strong Fake News Detectors [38.75533934195315]
  大きな言語モデル(LLM)はその顕著な推論と生成能力で知られている。 クレーム検証のための Web ソースからキーエビデンスを自動的に戦略的に抽出する,新たな LLM フレームワークについて紹介する。 我々の枠組みは十分な証拠の取得を保証し、性能を向上させる。
  論文  参考訳（メタデータ） (2024-03-14T00:35:39Z)
• Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
  MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。 MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。 本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-06T11:32:41Z)
• Visual Explanations of Image-Text Representations via Multi-Modal Information Bottleneck Attribution [49.762034744605955]
  視覚言語モデルの解釈性を改善するために,マルチモーダル情報ボトルネック手法を提案する。 視覚言語事前学習モデルの帰属分析にM2IBを適用する方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T18:02:22Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Improving Generalization for Multimodal Fake News Detection [8.595270610973586]
  最先端のアプローチは通常、小さなサイズのデータセットや特定のトピックの限定セットでトレーニングされる。 本稿では,マルチモーダルフェイクニュース検出のために,最先端のマルチモーダルトランスを採用した3つのモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-29T20:32:22Z)
• Leveraging Commonsense Knowledge on Classifying False News and Determining Checkworthiness of Claims [1.487444917213389]
  本稿では,偽ニュース分類とチェック価値のあるクレーム検出のタスクに対して,コモンセンスの知識を活用することを提案する。 マルチタスク学習環境において、BERT言語モデルに共通する質問応答タスクと上記のタスクを微調整する。 実験により,コモンセンス知識が両タスクのパフォーマンスを向上させることを示す。
  論文  参考訳（メタデータ） (2021-08-08T20:52:45Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• Towards Few-Shot Fact-Checking via Perplexity [40.11397284006867]
  そこで本研究では,言語モデルの強力な伝達学習能力をパープレキシティスコアで活用する新しい手法を提案する。 私たちの方法論は、F1-Macroメトリックの絶対10%以上のメジャークラスベースラインをすでに上回ることができます。 COVID-19に関連する2つの新しいファクトチェックデータセットを構築し、公開します。
  論文  参考訳（メタデータ） (2021-03-17T09:43:19Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。