論文の概要: Fake News Detection and Manipulation Reasoning via Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2407.02042v1
- Date: Tue, 2 Jul 2024 08:16:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-03 16:14:40.386824
- Title: Fake News Detection and Manipulation Reasoning via Large Vision-Language Models
- Title（参考訳）: 大規模視覚言語モデルによるフェイクニュースの検出とマニピュレーション推論
- Authors: Ruihan Jin, Ruibo Fu, Zhengqi Wen, Shuai Zhang, Yukun Liu, Jianhua Tao,
- Abstract要約: 本稿では,Human-centric and Fact-related Fake News(HFFN)と呼ばれる偽ニュースの検出と操作の推論のためのベンチマークを紹介する。
このベンチマークでは、詳細なマニュアルアノテーションによって、人間の中心性と、高い事実的関連性を強調している。
M-DRUM(Multi-modal News Detection and Reasoning langUage Model)が提示される。
- 参考スコア（独自算出の注目度）: 38.457805116130004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fake news becomes a growing threat to information security and public opinion with the rapid sprawl of media manipulation. Therefore, fake news detection attracts widespread attention from academic community. Traditional fake news detection models demonstrate remarkable performance on authenticity binary classification but their ability to reason detailed faked traces based on the news content remains under-explored. Furthermore, due to the lack of external knowledge, the performance of existing methods on fact-related news is questionable, leaving their practical implementation unclear. In this paper, we propose a new multi-media research topic, namely manipulation reasoning. Manipulation reasoning aims to reason manipulations based on news content. To support the research, we introduce a benchmark for fake news detection and manipulation reasoning, referred to as Human-centric and Fact-related Fake News (HFFN). The benchmark highlights the centrality of human and the high factual relevance, with detailed manual annotations. HFFN encompasses four realistic domains with fake news samples generated through three manipulation approaches. Moreover, a Multi-modal news Detection and Reasoning langUage Model (M-DRUM) is presented not only to judge on the authenticity of multi-modal news, but also raise analytical reasoning about potential manipulations. On the feature extraction level, a cross-attention mechanism is employed to extract fine-grained fusion features from multi-modal inputs. On the reasoning level, a large vision-language model (LVLM) serves as the backbone to facilitate fact-related reasoning. A two-stage training framework is deployed to better activate the capacity of identification and reasoning. Comprehensive experiments demonstrate that our model outperforms state-of-the-art (SOTA) fake news detection models and powerful LVLMs like GPT-4 and LLaVA.
- Abstract（参考訳）: フェイクニュースは、情報セキュリティと世論に対する脅威となり、メディア操作が急速に急増している。
そのため、偽ニュース検出は学術界から広く注目を集めている。
従来の偽ニュース検出モデルは、真正性二項分類において顕著な性能を示すが、ニュースコンテンツに基づいて詳細な偽の痕跡を推論する能力は、まだ探索されていない。
さらに、外部知識の欠如により、事実関連ニュースにおける既存手法の性能が疑問視され、実践的実装が不明確になる。
本稿では,新たなマルチメディア研究,すなわち操作推論を提案する。
操作推論はニュースコンテンツに基づいた操作を推論することを目的としている。
本研究を支援するために,Human-centric and Fact-related Fake News (HFFN) と呼ばれる偽ニュースの検出・操作推論のためのベンチマークを導入する。
このベンチマークでは、詳細なマニュアルアノテーションによって、人間の中心性と、高い事実的関連性を強調している。
HFFNは、3つの操作アプローチによって生成されたフェイクニュースサンプルを持つ4つの現実的なドメインを含んでいる。
さらに、マルチモーダルニュースの検出・推論言語Uage Model (M-DRUM) は、マルチモーダルニュースの信頼性を判断するだけでなく、潜在的操作に関する分析的理由も提起する。
特徴抽出レベルでは、多モード入力から微細な融合特徴を抽出するために、クロスアテンション機構を用いる。
推論レベルでは、大きな視覚言語モデル(LVLM)が事実関連推論を促進するバックボーンとして機能する。
2段階のトレーニングフレームワークがデプロイされ、識別と推論の能力をより活性化する。
GPT-4やLLaVAのような強力なLVLMやフェイクニュース検出モデルよりも優れた結果が得られた。
関連論文リスト
- Adapting Fake News Detection to the Era of Large Language Models [48.5847914481222]
我々は,機械による(言い換えられた)リアルニュース,機械生成のフェイクニュース,人書きのフェイクニュース,人書きのリアルニュースの相互作用について検討する。
我々の実験では、人書き記事のみに特化して訓練された検知器が、機械が生成したフェイクニュースを検出できる興味深いパターンを明らかにしましたが、その逆ではありません。
論文 参考訳（メタデータ） (2023-11-02T08:39:45Z) - Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News
Detection [50.07850264495737]
プロンプト・アンド・アライン(Prompt-and-Align、P&A)は、数発のフェイクニュース検出のための新しいプロンプトベースのパラダイムである。
我々はP&Aが、数発のフェイクニュース検出性能をかなりのマージンで新たな最先端に設定していることを示す。
論文 参考訳（メタデータ） (2023-09-28T13:19:43Z) - fakenewsbr: A Fake News Detection Platform for Brazilian Portuguese [0.6775616141339018]
本稿ではブラジルポルトガル語における偽ニュースの検出に関する総合的研究について述べる。
本稿では、TF-IDFやWord2Vecといった自然言語処理技術を活用する機械学習ベースのアプローチを提案する。
ユーザフレンドリーなWebプラットフォームである fakenewsbr.com を開発し,ニュース記事の妥当性の検証を容易にする。
論文 参考訳（メタデータ） (2023-09-20T04:10:03Z) - ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media [74.93847489218008]
ソーシャルメディア上でのニュースの操作を識別し,ソーシャルメディア投稿の操作を検出し,操作された情報や挿入された情報を特定することを目的とした,新しいタスクを提案する。
この課題を研究するために,データ収集スキーマを提案し,3.6K対のツイートとそれに対応する記事からなるManiTweetと呼ばれるデータセットをキュレートした。
我々の分析では、このタスクは非常に難しいことを示し、大きな言語モデル(LLM)は不満足なパフォーマンスをもたらす。
論文 参考訳（メタデータ） (2023-05-23T16:40:07Z) - Similarity-Aware Multimodal Prompt Learning for Fake News Detection [0.12396474483677114]
マルチモーダルフェイクニュース検出は、テキストのみの方法よりも優れています。
本稿では,Simisity-Aware Multimodal Prompt Learning (SAMPLE) フレームワークを提案する。
評価のために、SAMPLEはF1と以前の2つのベンチマークマルチモーダルデータセットの精度を上回っている。
論文 参考訳（メタデータ） (2023-04-09T08:10:05Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳（メタデータ） (2022-11-25T18:24:17Z) - A Multi-Policy Framework for Deep Learning-Based Fake News Detection [0.31498833540989407]
フェイクニュース検出を自動化するフレームワークであるMPSC(Multi-Policy Statement Checker)を導入する。
MPSCは、深層学習技術を用いて、文自体とその関連するニュース記事を分析し、それが信頼できるか疑わしいかを予測する。
論文 参考訳（メタデータ） (2022-06-01T21:25:21Z) - Explainable Tsetlin Machine framework for fake news detection with
credibility score assessment [16.457778420360537]
本稿では,最近導入されたTsetlin Machine (TM) に基づく,新たな解釈可能な偽ニュース検出フレームワークを提案する。
我々は、TMの接続節を用いて、真偽のニューステキストの語彙的および意味的特性をキャプチャする。
評価のために、PolitiFactとGossipCopという2つの公開データセットで実験を行い、TMフレームワークが以前公開されたベースラインを大幅に上回っていることを示す。
論文 参考訳（メタデータ） (2021-05-19T13:18:02Z) - Connecting the Dots Between Fact Verification and Fake News Detection [21.564628184287173]
本稿では,事実検証と偽ニュース検出の点を結合する,シンプルで効果的な手法を提案する。
提案手法は,最近の事実検証モデルの成功を活用し,ゼロショットフェイクニュースの検出を可能にする。
論文 参考訳（メタデータ） (2020-10-11T09:28:52Z) - Machine Learning Explanations to Prevent Overtrust in Fake News
Detection [64.46876057393703]
本研究では、ニュースレビュープラットフォームに組み込んだ説明可能なAIアシスタントが、フェイクニュースの拡散と戦う効果について検討する。
我々は、ニュースレビューと共有インターフェースを設計し、ニュース記事のデータセットを作成し、4つの解釈可能なフェイクニュース検出アルゴリズムを訓練する。
説明可能なAIシステムについてより深く理解するために、説明プロセスにおけるユーザエンゲージメント、メンタルモデル、信頼、パフォーマンス対策の相互作用について議論する。
論文 参考訳（メタデータ） (2020-07-24T05:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。