論文の概要: KGAlign: Joint Semantic-Structural Knowledge Encoding for Multimodal Fake News Detection
- arxiv url: http://arxiv.org/abs/2505.14714v1
- Date: Sun, 18 May 2025 13:08:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:58.642469
- Title: KGAlign: Joint Semantic-Structural Knowledge Encoding for Multimodal Fake News Detection
- Title（参考訳）: KGAlign:マルチモーダルフェイクニュース検出のための統合意味構造知識符号化
- Authors: Tuan-Vinh La, Minh-Hieu Nguyen, Minh-Son Dao,
- Abstract要約: 本稿では,視覚的,テキスト的,知識に基づく表現を統合した,新しいマルチモーダルフェイクニュース検出フレームワークを提案する。
本提案では,知識基底型マルチモーダル推論という新たなパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 2.3047429933576327
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fake news detection remains a challenging problem due to the complex interplay between textual misinformation, manipulated images, and external knowledge reasoning. While existing approaches have achieved notable results in verifying veracity and cross-modal consistency, two key challenges persist: (1) Existing methods often consider only the global image context while neglecting local object-level details, and (2) they fail to incorporate external knowledge and entity relationships for deeper semantic understanding. To address these challenges, we propose a novel multi-modal fake news detection framework that integrates visual, textual, and knowledge-based representations. Our approach leverages bottom-up attention to capture fine-grained object details, CLIP for global image semantics, and RoBERTa for context-aware text encoding. We further enhance knowledge utilization by retrieving and adaptively selecting relevant entities from a knowledge graph. The fused multi-modal features are processed through a Transformer-based classifier to predict news veracity. Experimental results demonstrate that our model outperforms recent approaches, showcasing the effectiveness of neighbor selection mechanism and multi-modal fusion for fake news detection. Our proposal introduces a new paradigm: knowledge-grounded multimodal reasoning. By integrating explicit entity-level selection and NLI-guided filtering, we shift fake news detection from feature fusion to semantically grounded verification. For reproducibility and further research, the source code is publicly at \href{https://github.com/latuanvinh1998/KGAlign}{github.com/latuanvinh1998/KGAlign}.
- Abstract（参考訳）: フェイクニュース検出は、テキスト誤報、操作された画像、および外部知識推論の間の複雑な相互作用のため、依然として困難な問題である。
既存のアプローチは妥当性と相互整合性の検証において顕著な成果を上げてきたが、(1)既存の手法では、局所的なオブジェクトレベルの詳細を無視しながら、グローバルなイメージコンテキストのみを考慮し、(2)外部知識とエンティティの関係を深い意味的理解に組み込むことができない、という2つの大きな課題が続いている。
これらの課題に対処するために,視覚的,テキスト的,知識に基づく表現を統合した,新しいマルチモーダルフェイクニュース検出フレームワークを提案する。
提案手法ではボトムアップによる細粒度オブジェクトのキャプチャ,グローバルイメージセマンティクスのCLIP,コンテキスト対応テキストエンコーディングのRoBERTaを活用する。
知識グラフから関連エンティティを検索し、適応的に選択することで、知識利用をさらに強化する。
融合したマルチモーダル機能はTransformerベースの分類器を通じて処理され、ニュースの正確性を予測する。
実験により,本モデルが近年の手法より優れており,偽ニュース検出における近隣選択機構とマルチモーダル融合の有効性が示された。
本提案では,知識基底型マルチモーダル推論という新たなパラダイムを提案する。
明示的なエンティティレベルの選択とNLI誘導フィルタリングを統合することにより、フェイクニュース検出を特徴融合から意味的基礎的検証へシフトする。
再現性とさらなる研究のために、ソースコードは \href{https://github.com/latuanvinh1998/KGAlign}{github.com/latuanvinh1998/KGAlign} にある。
関連論文リスト
- Dynamic Analysis and Adaptive Discriminator for Fake News Detection [59.41431561403343]
偽ニュース検出のための動的解析・適応識別器(DAAD)手法を提案する。
知識に基づく手法では,モンテカルロ木探索アルゴリズムを導入し,大規模言語モデルの自己表現能力を活用する。
意味に基づく手法では、偽ニュース生成のメカニズムを明らかにするために、典型的偽造パターンを4つ定義する。
論文 参考訳（メタデータ） (2024-08-20T14:13:54Z) - FKA-Owl: Advancing Multimodal Fake News Detection through Knowledge-Augmented LVLMs [48.32113486904612]
本稿では,FKA-Owlを提案する。FKA-Owlは,偽情報を利用した大規模視覚言語モデル(LVLM)の拡張のためのフレームワークである。
パブリックベンチマークの実験では、FKA-Owlは従来の手法よりも優れたクロスドメイン性能を達成している。
論文 参考訳（メタデータ） (2024-03-04T12:35:09Z) - MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。
既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。
本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T05:40:33Z) - From Text to Pixels: A Context-Aware Semantic Synergy Solution for
Infrared and Visible Image Fusion [66.33467192279514]
我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。
本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
論文 参考訳（メタデータ） (2023-12-31T08:13:47Z) - ESTextSpotter: Towards Better Scene Text Spotting with Explicit Synergy
in Transformer [88.61312640540902]
明示的な構文に基づくテキストスポッティング変換フレームワーク(ESTextSpotter)を紹介する。
本モデルは,1つのデコーダ内におけるテキスト検出と認識のための識別的,インタラクティブな特徴をモデル化することにより,明示的な相乗効果を実現する。
実験結果から,本モデルが従来の最先端手法よりも有意に優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-08-20T03:22:23Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-07-31T10:22:33Z) - Multi-modal Fake News Detection on Social Media via Multi-grained
Information Fusion [21.042970740577648]
偽ニュース検出のためのMMFN(Multi-fine Multi-modal Fusion Network)を提案する。
そこで我々は,トランスフォーマーを用いた事前学習モデルを用いて,テキストと画像からトークンレベルの特徴を符号化する。
マルチモーダルモジュールは、CLIPエンコーダでエンコードされた粗い機能を考慮して、きめ細かい機能をフューズする。
論文 参考訳（メタデータ） (2023-04-03T09:13:59Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳（メタデータ） (2022-11-03T15:04:29Z) - Multimodal Fake News Detection with Adaptive Unimodal Representation
Aggregation [28.564442206829625]
AURAは、適応的な一助表現アグリゲーションを備えたマルチモーダルフェイクニュース検出ネットワークである。
我々は,一様および多様の表現に従って,粗いレベルの偽ニュース検出とクロスモーダルな共存学習を行う。
WeiboとGossipcopの実験は、AURAがいくつかの最先端のFNDスキームに勝つことを証明している。
論文 参考訳（メタデータ） (2022-06-12T14:06:55Z) - Applying Automatic Text Summarization for Fake News Detection [4.2177790395417745]
フェイクニュースの配信は新しいものではなく、急速に増加している問題だ。
本稿ではトランスフォーマーに基づく言語モデルのパワーを組み合わせた問題に対するアプローチを提案する。
我々のフレームワークであるCMTR-BERTは、複数のテキスト表現を組み合わせることで、コンテキスト情報の取り込みを可能にする。
論文 参考訳（メタデータ） (2022-04-04T21:00:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。