論文の概要: Detecting Out-of-Context Multimodal Misinformation with interpretable
neural-symbolic model
- arxiv url: http://arxiv.org/abs/2304.07633v1
- Date: Sat, 15 Apr 2023 21:11:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-18 18:06:10.067865
- Title: Detecting Out-of-Context Multimodal Misinformation with interpretable
neural-symbolic model
- Title(参考訳): 解釈型ニューラルシンボリックモデルによる文脈外マルチモーダル誤情報の検出
- Authors: Yizhou Zhang, Loc Trinh, Defu Cao, Zijun Cui, Yan Liu
- Abstract要約: 誤報の作者は、ニュース検出システムや偽ニュースを騙すために、マルチメディア以外のコンテンツを使う傾向が強まっている。
この新たなタイプの誤報は、検出だけでなく、個々のモダリティが真の情報に十分近いため、明確化の難しさも増す。
本稿では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
- 参考スコア(独自算出の注目度): 16.682989759709898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the sustained evolution of misinformation that
aims at manipulating public opinions. Unlike traditional rumors or fake news
editors who mainly rely on generated and/or counterfeited images, text and
videos, current misinformation creators now more tend to use out-of-context
multimedia contents (e.g. mismatched images and captions) to deceive the public
and fake news detection systems. This new type of misinformation increases the
difficulty of not only detection but also clarification, because every
individual modality is close enough to true information. To address this
challenge, in this paper we explore how to achieve interpretable cross-modal
de-contextualization detection that simultaneously identifies the mismatched
pairs and the cross-modal contradictions, which is helpful for fact-check
websites to document clarifications. The proposed model first symbolically
disassembles the text-modality information to a set of fact queries based on
the Abstract Meaning Representation of the caption and then forwards the
query-image pairs into a pre-trained large vision-language model select the
``evidences" that are helpful for us to detect misinformation. Extensive
experiments indicate that the proposed methodology can provide us with much
more interpretable predictions while maintaining the accuracy same as the
state-of-the-art model on this task.
- Abstract(参考訳): 近年、世論の操作を目的とした誤報の持続的な進化を目撃している。
従来の噂や偽ニュース編集者が画像やテキストやビデオの生成や偽造を主に頼りにしているのと異なり、現在の偽情報クリエイターは、パブリックニュースや偽ニュース検出システムを欺くために、文脈外のマルチメディアコンテンツ(例えば、ミスマッチ画像やキャプション)を使う傾向がある。
この新たなタイプの誤情報は、個々のモダリティが真の情報に十分近いため、検出だけでなく明確化も難しくなる。
この課題に対処するために,本論文では,不一致のペアと相互の矛盾を同時に識別する,解釈可能なクロスモーダル・デコンテクスト化検出を実現する方法について検討する。
提案モデルではまず,文のモダリティ情報をキャプションの抽象的意味表現に基づく一組のファクトクエリに象徴的に分解し,そのクエリと画像のペアを事前学習した大規模視覚言語モデルに転送し,誤情報を検出するのに役立つ「証拠」を選択する。
広範な実験により,提案手法は,本課題における最先端モデルと同じ精度を維持しつつ,より解釈可能な予測を可能にすることが示唆された。
関連論文リスト
- MSynFD: Multi-hop Syntax aware Fake News Detection [27.046529059563863]
ソーシャルメディアプラットフォームは、偽ニュースを急速に拡散させ、われわれの現実社会に脅威を与えている。
既存の方法は、フェイクニュースの検出を強化するために、マルチモーダルデータまたはコンテキスト情報を使用する。
本稿では,偽ニュースの微妙なひねりに対処するための補完構文情報を含む,新しいマルチホップ構文認識型偽ニュース検出手法を提案する。
論文 参考訳(メタデータ) (2024-02-18T05:40:33Z) - CrisisKAN: Knowledge-infused and Explainable Multimodal Attention
Network for Crisis Event Classification [25.93602006155562]
CrisisKANは知識を注入し、説明可能なマルチモーダル・アテンション・ネットワークであり、危機イベントを分類するためにウィキペディアの外部知識とともに画像とテキストを格納する。
テキスト情報の文脈固有の理解を深めるために,提案したwiki抽出アルゴリズムを用いてウィキペディアの知識を統合した。
信頼性を確保するため,モデル固有のアプローチであるGrad-CAMを用いて,提案モデルの予測を頑健に説明する。
論文 参考訳(メタデータ) (2024-01-11T13:22:38Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Cross-Modal Implicit Relation Reasoning and Aligning for Text-to-Image
Person Retrieval [29.884153827619915]
IRRA:クロスモーダルImplicit Relation Reasoning and Aligning frameworkを提案する。
ローカルなビジュアルテキストトークン間の関係を学習し、グローバルな画像テキストマッチングを強化する。
提案手法は,3つの公開データセットすべてに対して,最先端の新たな結果を実現する。
論文 参考訳(メタデータ) (2023-03-22T12:11:59Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - Contextual information integration for stance detection via
cross-attention [59.662413798388485]
スタンス検出は、著者の目標に対する姿勢を特定することを扱う。
既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。
文脈情報をテキストとして統合する手法を提案する。
論文 参考訳(メタデータ) (2022-11-03T15:04:29Z) - Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。
我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。
我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
論文 参考訳(メタデータ) (2022-09-04T05:31:00Z) - Misinformation Detection in Social Media Video Posts [0.4724825031148411]
ソーシャルメディアプラットフォームによるショートフォームビデオは、ソーシャルメディアプロバイダーにとって重要な課題となっている。
本研究では,ソーシャルメディア投稿における誤情報検出手法を開発し,ビデオやテキストなどのモダリティを活用する。
われわれはTwitterから16万の動画投稿を収集し、自己教師付き学習を活用して、共同視覚およびテキストデータの表現表現を学ぶ。
論文 参考訳(メタデータ) (2022-02-15T20:14:54Z) - Open-Domain, Content-based, Multi-modal Fact-checking of Out-of-Context
Images via Online Resources [70.68526820807402]
実際のイメージは、コンテキストや要素を誤って表現することによって、他の物語をサポートするために再目的化される。
私たちのゴールは、画像とコンテキストのペアリングを事実チェックすることで、この時間を要する、推論集約的なプロセスを自動化する検査可能な方法です。
私たちの研究は、オープンドメイン、コンテンツベース、マルチモーダルなファクトチェックのための最初のステップとベンチマークを提供します。
論文 参考訳(メタデータ) (2021-11-30T19:36:20Z) - NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media [93.51739200834837]
画像とテキストの両方を操作できないが一致しないデータセットを提案する。
本稿では,字幕に適した画像の自動検索手法をいくつか紹介する。
当社の大規模自動生成NewsCLIPpingsデータセットは、両方のモダリティを共同分析するモデルを必要とします。
論文 参考訳(メタデータ) (2021-04-13T01:53:26Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。