論文の概要: Robust Domain Misinformation Detection via Multi-modal Feature Alignment
- arxiv url: http://arxiv.org/abs/2311.14315v1
- Date: Fri, 24 Nov 2023 07:06:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-27 15:51:57.612321
- Title: Robust Domain Misinformation Detection via Multi-modal Feature Alignment
- Title（参考訳）: マルチモーダル特徴アライメントによるロバストドメイン誤情報検出
- Authors: Hui Liu, Wenya Wang, Hao Sun, Anderson Rocha, and Haoliang Li
- Abstract要約: マルチモーダルな誤情報検出のための頑健なドメインとクロスモーダルなアプローチを提案する。
テキストと視覚の共役分布を整列させることにより、ドメインシフトを低減する。
また,ドメイン一般化のアプリケーションシナリオを同時に検討するフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 49.89164555394584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Social media misinformation harms individuals and societies and is
potentialized by fast-growing multi-modal content (i.e., texts and images),
which accounts for higher "credibility" than text-only news pieces. Although
existing supervised misinformation detection methods have obtained acceptable
performances in key setups, they may require large amounts of labeled data from
various events, which can be time-consuming and tedious. In turn, directly
training a model by leveraging a publicly available dataset may fail to
generalize due to domain shifts between the training data (a.k.a. source
domains) and the data from target domains. Most prior work on domain shift
focuses on a single modality (e.g., text modality) and ignores the scenario
where sufficient unlabeled target domain data may not be readily available in
an early stage. The lack of data often happens due to the dynamic propagation
trend (i.e., the number of posts related to fake news increases slowly before
catching the public attention). We propose a novel robust domain and
cross-modal approach (\textbf{RDCM}) for multi-modal misinformation detection.
It reduces the domain shift by aligning the joint distribution of textual and
visual modalities through an inter-domain alignment module and bridges the
semantic gap between both modalities through a cross-modality alignment module.
We also propose a framework that simultaneously considers application scenarios
of domain generalization (in which the target domain data is unavailable) and
domain adaptation (in which unlabeled target domain data is available).
Evaluation results on two public multi-modal misinformation detection datasets
(Pheme and Twitter Datasets) evince the superiority of the proposed model. The
formal implementation of this paper can be found in this link:
https://github.com/less-and-less-bugs/RDCM
- Abstract（参考訳）: ソーシャルメディアの誤報は個人や社会に害を与え、急速に成長するマルチモーダルコンテンツ(テキストや画像など)によって、テキストのみのニュースよりも高い「クレディビリティ」を担っている可能性がある。
既存の教師付き誤情報検出手法は、キー設定で許容できる性能を得たが、それらは様々なイベントからの大量のラベル付きデータを必要とする可能性がある。
逆に、公開データセットを利用してモデルを直接訓練することは、トレーニングデータ(例えばソースドメイン)とターゲットドメインのデータの間のドメインシフトによって一般化できない可能性がある。
ドメインシフトに関するほとんどの以前の作業は、単一のモダリティ(例えば、テキストモダリティ)に焦点を当てており、十分なラベルのないターゲットドメインデータが早期に利用できないというシナリオを無視している。
データ不足は、ダイナミックな伝播傾向(すなわち、フェイクニュースに関連する投稿の数が、大衆の注目を集める前に徐々に増加する)によって起こることが多い。
マルチモーダル誤情報検出のための新しい頑健なドメインとクロスモーダルアプローチ(\textbf{RDCM})を提案する。
ドメイン間のアライメントモジュールを通じてテキストと視覚のモダリティの結合分布を整列することでドメインシフトを減少させ、ドメイン間のアライメントモジュールを通じて両方のモダリティ間のセマンティックギャップを橋渡しする。
また、ドメインの一般化(対象のドメインデータが利用できない)とドメインの適応(ラベルのない対象のドメインデータが利用できる)のアプリケーションシナリオを同時に考慮するフレームワークを提案する。
2つの公開マルチモーダルな誤情報検出データセット(PhemeとTwitter Datasets)の評価結果から,提案モデルが優れていることを示す。
本論文の正式な実装は、このリンクにある。 https://github.com/less-and-less-bugs/rdcm。
関連論文リスト
- DPOD: Domain-Specific Prompt Tuning for Multimodal Fake News Detection [15.599951180606947]
文脈外画像を用いたフェイクニュースが広まり、情報過負荷の時代における問題となっている。
ドメイン外データが、所望のドメインのコンテキスト外誤情報検出を改善するのに役立つかどうかを検討する。
DPOD (Domain-specific Prompt-tuning using Out-of-Domain data) と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-27T08:49:26Z) - Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。
本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。
本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
論文 参考訳（メタデータ） (2022-09-23T12:58:20Z) - Multilevel Knowledge Transfer for Cross-Domain Object Detection [26.105283273950942]
ドメインシフトは、特定のドメイン(ソース)でトレーニングされたモデルが、異なるドメイン(ターゲット)のサンプルに露出しても、うまく動作しない、よく知られた問題である。
本研究では,オブジェクト検出タスクにおける領域シフト問題に対処する。
私たちのアプローチは、ソースとターゲットドメイン間のドメインシフトを徐々に削除することに依存しています。
論文 参考訳（メタデータ） (2021-08-02T15:24:40Z) - Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。
本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。
提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-25T14:33:33Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳（メタデータ） (2020-09-01T00:06:50Z) - Domain Adaptation for Semantic Parsing [68.81787666086554]
本稿では,ドメイン適応のための新しいセマンティクスを提案する。このセマンティクスでは,ソースドメインと比較して,対象ドメインのアノテーション付きデータがはるかに少ない。
我々のセマンティックな利点は、2段階の粗大なフレームワークから得ており、2段階の異なる正確な処理を提供できる。
ベンチマークデータセットの実験により、我々の手法はいくつかの一般的なドメイン適応戦略より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2020-06-23T14:47:41Z) - Mind the Gap: Enlarging the Domain Gap in Open Set Domain Adaptation [65.38975706997088]
オープンセットドメイン適応(OSDA)は、ターゲットドメインに未知のクラスが存在することを前提としている。
既存の最先端手法は、より大きなドメインギャップが存在する場合、かなりの性能低下を被ることを示す。
我々は、より大きなドメインギャップに特に対処するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-08T14:20:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。