論文の概要: FakeNewsGPT4: Advancing Multimodal Fake News Detection through
Knowledge-Augmented LVLMs
- arxiv url: http://arxiv.org/abs/2403.01988v1
- Date: Mon, 4 Mar 2024 12:35:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 18:45:51.775880
- Title: FakeNewsGPT4: Advancing Multimodal Fake News Detection through
Knowledge-Augmented LVLMs
- Title(参考訳): FakeNewsGPT4:知識付加LVLMによるマルチモーダルフェイクニュース検出の改善
- Authors: Xuannan Liu and Peipei Li and Huaibo Huang and Zekun Li and Xing Cui
and Jiahao Liang and Lixiong Qin and Weihong Deng and Zhaofeng He
- Abstract要約: 本稿では,大規模視覚言語モデル(Large Vision-Language Models)を,操作推論のためのフォージェリ固有の知識で拡張する新しいフレームワークを提案する。
FakeNewsGPT4は、以前の方法よりも優れたクロスドメインパフォーマンスを実現している。
- 参考スコア(独自算出の注目度): 50.13829380113614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The massive generation of multimodal fake news exhibits substantial
distribution discrepancies, prompting the need for generalized detectors.
However, the insulated nature of training within specific domains restricts the
capability of classical detectors to obtain open-world facts. In this paper, we
propose FakeNewsGPT4, a novel framework that augments Large Vision-Language
Models (LVLMs) with forgery-specific knowledge for manipulation reasoning while
inheriting extensive world knowledge as complementary. Knowledge augmentation
in FakeNewsGPT4 involves acquiring two types of forgery-specific knowledge,
i.e., semantic correlation and artifact trace, and merging them into LVLMs.
Specifically, we design a multi-level cross-modal reasoning module that
establishes interactions across modalities for extracting semantic
correlations. Concurrently, a dual-branch fine-grained verification module is
presented to comprehend localized details to encode artifact traces. The
generated knowledge is translated into refined embeddings compatible with
LVLMs. We also incorporate candidate answer heuristics and soft prompts to
enhance input informativeness. Extensive experiments on the public benchmark
demonstrate that FakeNewsGPT4 achieves superior cross-domain performance
compared to previous methods. Code will be available.
- Abstract(参考訳): マルチモーダルフェイクニュースの大量発生は、かなりの分布の相違を示し、一般化された検出器の必要性を招いた。
しかし、特定の領域における訓練の断続的な性質は、古典的検出器がオープンワールドの事実を得る能力を制限する。
本稿では,多岐にわたる知識を相補的に継承しながら,操作推論のための偽造特化知識を備えた大規模視覚言語モデル(lvlms)を補完する新しいフレームワークであるfakenewsgpt4を提案する。
FakeNewsGPT4の知識増強は、意味的相関とアーティファクトトレースの2種類のフォージェリー固有の知識を取得し、それらをLVLMにマージする。
具体的には,意味相関を抽出するためのモダリティ間のインタラクションを確立するマルチレベルクロスモーダル推論モジュールを設計する。
同時に、局所化された詳細を理解してアーティファクトトレースをエンコードするために、デュアルブランチの細粒度検証モジュールが提示される。
生成された知識は、LVLMと互換性のある洗練された埋め込みに変換される。
また,候補解答ヒューリスティックスとソフトプロンプトを取り入れ,入力情報性を高める。
FakeNewsGPT4は,従来の手法に比べてクロスドメイン性能が優れていることを示す。
コードは利用可能だ。
関連論文リスト
- Data-free Multi-label Image Recognition via LLM-powered Prompt Tuning [23.671999163027284]
本稿では,学習データを持たないマルチラベル画像認識のための新しいフレームワークを提案する。
事前学習されたLarge Language Modelの知識を使用して、CLIPのような事前学習されたVision-Language Modelをマルチラベル分類に適応させるプロンプトを学ぶ。
本フレームワークは,新しいカテゴリー認識のための複数の事前学習モデル間の相乗効果を探索する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-02T13:43:32Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - A Survey on Detection of LLMs-Generated Content [97.87912800179531]
LLMの生成する内容を検出する能力が最重要視されている。
既存の検出戦略とベンチマークの詳細な概要を提供する。
また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
論文 参考訳(メタデータ) (2023-10-24T09:10:26Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Dual Semantic Knowledge Composed Multimodal Dialog Systems [114.52730430047589]
本稿では,MDS-S2という新しいマルチモーダルタスク指向対話システムを提案する。
コンテキスト関連属性と関係知識を知識ベースから取得する。
また、合成された応答表現から意味情報を抽出するために、潜在クエリ変数のセットを考案する。
論文 参考訳(メタデータ) (2023-05-17T06:33:26Z) - A Multi-Policy Framework for Deep Learning-Based Fake News Detection [0.31498833540989407]
フェイクニュース検出を自動化するフレームワークであるMPSC(Multi-Policy Statement Checker)を導入する。
MPSCは、深層学習技術を用いて、文自体とその関連するニュース記事を分析し、それが信頼できるか疑わしいかを予測する。
論文 参考訳(メタデータ) (2022-06-01T21:25:21Z) - Multimodal Fake News Detection via CLIP-Guided Learning [26.093561485807832]
本稿では、FND-CLIPフレームワーク、すなわち、コントラスト言語-画像事前学習(CLIP)に基づくマルチモーダルフェイクニュース検出ネットワークを提案する。
対象とするマルチモーダルニュースから,ResNetベースのエンコーダ,BERTベースのエンコーダ,および2つのペアワイズCLIPエンコーダを用いて,画像とテキストから深層表現を抽出する。
マルチモーダル特徴は、2つのモーダルの標準化されたクロスモーダル類似性によって重み付けられたCLIP生成特徴の連結である。
論文 参考訳(メタデータ) (2022-05-28T02:43:18Z) - Lifelong Learning Natural Language Processing Approach for Multilingual
Data Classification [1.3999481573773074]
複数の言語で偽ニュースを検知できる生涯学習型アプローチを提案する。
解析された言語間で得られた知識を一般化するモデルの能力も観察された。
論文 参考訳(メタデータ) (2022-05-25T10:34:04Z) - Visual Relationship Detection with Visual-Linguistic Knowledge from
Multimodal Representations [103.00383924074585]
視覚的関係検出は、画像内の有能なオブジェクト間の関係を推論することを目的としている。
変換器からの視覚言語表現(RVL-BERT)という新しい手法を提案する。
RVL-BERTは、自己教師付き事前学習を通じて学習した視覚的・言語的常識知識を用いて空間推論を行う。
論文 参考訳(メタデータ) (2020-09-10T16:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。