論文の概要: Figments and Misalignments: A Framework for Fine-grained Crossmodal
Misinformation Detection
- arxiv url: http://arxiv.org/abs/2304.14133v1
- Date: Thu, 27 Apr 2023 12:28:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 13:29:22.025559
- Title: Figments and Misalignments: A Framework for Fine-grained Crossmodal
Misinformation Detection
- Title(参考訳): figments and misalignments: きめ細かなクロスモーダル情報検出のための枠組み
- Authors: Stefanos-Iordanis Papadopoulos, Christos Koutlis, Symeon Papadopoulos,
Panagiotis C. Petrantonakis
- Abstract要約: CMM (CrossModal Misinformation) は、画像キャプチャーのペアが嘘を広めるために一緒に働く場所である。
非対称なマルチモーダル誤報 (AMM) がトレーニングおよび評価プロセスにノイズを付加し, 単調なバイアスを悪化させることを示した。
本稿では,正規画像と偽字幕との相互関係を維持するリアルな合成学習データを生成する手法を提案する。
- 参考スコア(独自算出の注目度): 11.696058634552147
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Multimedia content has become ubiquitous on social media platforms, leading
to the rise of multimodal misinformation and the urgent need for effective
strategies to detect and prevent its spread. This study focuses on CrossModal
Misinformation (CMM) where image-caption pairs work together to spread
falsehoods. We contrast CMM with Asymmetric Multimodal Misinformation (AMM),
where one dominant modality propagates falsehoods while other modalities have
little or no influence. We show that AMM adds noise to the training and
evaluation process while exacerbating the unimodal bias, where text-only or
image-only detectors can seemingly outperform their multimodal counterparts on
an inherently multimodal task. To address this issue, we collect and curate
FIGMENTS, a robust evaluation benchmark for CMM, which consists of real world
cases of misinformation, excludes AMM and utilizes modality balancing to
successfully alleviate unimodal bias. FIGMENTS also provides a first step
towards fine-grained CMM detection by including three classes: truthful,
out-of-context, and miscaptioned image-caption pairs. Furthermore, we introduce
a method for generating realistic synthetic training data that maintains
crossmodal relations between legitimate images and false human-written captions
that we term Crossmodal HArd Synthetic MisAlignment (CHASMA). We conduct
extensive comparative study using a Transformer-based architecture. Our results
show that incorporating CHASMA in conjunction with other generated datasets
consistently improved the overall performance on FIGMENTS in both binary
(+6.26%) and multiclass settings (+15.8%).We release our code at:
https://github.com/stevejpapad/figments-and-misalignments
- Abstract(参考訳): マルチメディアコンテンツはソーシャルメディアプラットフォーム上で広く普及し、マルチモーダルな誤った情報や、その拡散を検知し防止するための効果的な戦略の必要性が急速に高まっている。
本研究では,イメージとキャプチャのペアが連携して偽りを広めるクロスモーダル誤報(cmm)に着目した。
我々は,cmmと非対称マルチモーダル誤情報(asymmetric multimodal misinformation, amm)の対比を行った。
ammは、テキストのみまたは画像のみの検出器が本質的にマルチモーダルなタスクにおいて、マルチモーダルな対象を上回ることができるユニモーダルバイアスを悪化させながら、トレーニングと評価プロセスにノイズを追加する。
この問題に対処するため,実世界の誤報事例からなるCMMの頑健な評価ベンチマークであるFIGMENTSを収集・キュレートし,AMMを除外し,モダリティバランスを利用して不動バイアスを軽減した。
figmentsはまた、trueful、out-of-context、miscaptioned image-captionの3つのクラスを含むことで、きめ細かいcmm検出への第一歩を提供する。
さらに,Crossmodal HArd Synthetic MisAlignment (CHASMA) と呼ぶ正像と偽人書き字幕との相互関係を維持するリアルな合成トレーニングデータを生成する手法を提案する。
トランスベースアーキテクチャを用いた大規模比較研究を行う。
その結果、CHASMAを他の生成されたデータセットと組み合わせることで、バイナリ(+6.26%)とマルチクラス設定(+15.8%)の両方で、FIGMENTSの全体的なパフォーマンスが一貫して改善された。
コードはhttps://github.com/stevejpapad/figments-and-misalignmentsでリリースします。
関連論文リスト
- MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - Mutual Information Regularization for Weakly-supervised RGB-D Salient
Object Detection [33.210575826086654]
弱教師付きRGB-Dサルエント物体検出モデルを提案する。
モーダル相互情報正規化による効果的なマルチモーダル表現学習に着目した。
論文 参考訳(メタデータ) (2023-06-06T12:36:57Z) - Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical
Fusion for Multimodal Affect Recognition [69.32305810128994]
モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。
本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。
HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
論文 参考訳(メタデータ) (2023-05-23T01:24:15Z) - MMG-Ego4D: Multi-Modal Generalization in Egocentric Action Recognition [73.80088682784587]
MMG(Multimodal Generalization)は,特定のモダリティのデータに制限がある場合,あるいは完全に欠落する場合に,システムがどのように一般化できるかを研究することを目的としている。
MMGは2つの新しいシナリオで構成され、現実のアプリケーションにおけるセキュリティと効率の考慮をサポートするように設計されている。
新しい融合モジュールは、モダリティのドロップアウトトレーニング、コントラストベースのアライメントトレーニング、そして新しいクロスモーダル損失により、より優れた数ショット性能を実現した。
論文 参考訳(メタデータ) (2023-05-12T03:05:40Z) - Synthetic Misinformers: Generating and Combating Multimodal
Misinformation [11.696058634552147]
マルチモーダル誤情報検出(MMD)は、画像と付随するテキストの組み合わせが誤読や誤字を検知する。
提案したCLIPベースの名前付きエンティティスワッピングは,マルチモーダル精度で他のOOCやNEIミスコンバータを上回り,MDDモデルに繋がることを示す。
論文 参考訳(メタデータ) (2023-03-02T12:59:01Z) - IMKGA-SM: Interpretable Multimodal Knowledge Graph Answer Prediction via
Sequence Modeling [3.867363075280544]
マルチモーダル知識グラフリンク予測は,マルチモーダルデータに対するリンク予測タスクの精度と効率を向上させることを目的としている。
シーケンスモデリングによる解釈可能なマルチモーダル知識グラフアンサー予測(IMKGA-SM)の開発
モデルは、異なるサイズのマルチモーダルリンク予測データセットに基づいて、SOTAベースラインよりもはるかに優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-01-06T10:08:11Z) - Robustness of Fusion-based Multimodal Classifiers to Cross-Modal Content
Dilutions [27.983902791798965]
画像と既存のテキストとの関連性やトピックのコヒーレンスを維持する希釈テキストを生成するモデルを開発する。
その結果,タスク固有の融合型マルチモーダル分類器の性能はそれぞれ23.3%,22.5%低下することがわかった。
我々の研究は、深いマルチモーダルモデルの現実的な変動に対する堅牢性について、さらなる研究をハイライトし、奨励することを目的としている。
論文 参考訳(メタデータ) (2022-11-04T17:58:02Z) - Correlation Information Bottleneck: Towards Adapting Pretrained
Multimodal Models for Robust Visual Question Answering [63.87200781247364]
相関情報ボトルネック (CIB) は圧縮と表現の冗長性のトレードオフを求める。
マルチモーダル入力と表現の相互情報に対して,理論上界を厳密に導出する。
論文 参考訳(メタデータ) (2022-09-14T22:04:10Z) - Multi-Modal Mutual Information Maximization: A Novel Approach for
Unsupervised Deep Cross-Modal Hashing [73.29587731448345]
我々はCross-Modal Info-Max Hashing (CMIMH)と呼ばれる新しい手法を提案する。
モーダル内およびモーダル間の類似性を両立できる情報表現を学習する。
提案手法は、他の最先端のクロスモーダル検索手法よりも一貫して優れている。
論文 参考訳(メタデータ) (2021-12-13T08:58:03Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。