論文の概要: DPOD: Domain-Specific Prompt Tuning for Multimodal Fake News Detection

• arxiv url: http://arxiv.org/abs/2311.16496v2
• Date: Fri, 8 Mar 2024 03:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:06:33.515405
• Title: DPOD: Domain-Specific Prompt Tuning for Multimodal Fake News Detection
• Title（参考訳）: DPOD:マルチモーダルフェイクニュース検出のためのドメイン特化プロンプトチューニング
• Authors: Debarshi Brahma, Amartya Bhattacharya, Suraj Nagaje Mahadev, Anmol Asati, Vikas Verma, Soma Biswas
• Abstract要約: 文脈外画像を用いたフェイクニュースが広まり、情報過負荷の時代における問題となっている。 ドメイン外データが、所望のドメインのコンテキスト外誤情報検出を改善するのに役立つかどうかを検討する。 DPOD (Domain-specific Prompt-tuning using Out-of-Domain data) と呼ばれる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.599951180606947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The spread of fake news using out-of-context images has become widespread and is a relevant problem in this era of information overload. Such out-of-context fake news may arise across different domains like politics, sports, entertainment, etc. In practical scenarios, an inherent problem of imbalance exists among news articles from such widely varying domains, resulting in a few domains with abundant data, while the rest containing very limited data. Under such circumstances, it is imperative to develop methods which can work in such varying amounts of data setting. In this work, we explore whether out-of-domain data can help to improve out-of-context misinformation detection (termed here as multi-modal fake news detection) of a desired domain, to address this challenging problem. Towards this goal, we propose a novel framework termed DPOD (Domain-specific Prompt-tuning using Out-of-Domain data). First, to compute generalizable features, we modify the Vision-Language Model, CLIP to extract features that helps to align the representations of the images and corresponding text captions of both the in-domain and out-of-domain data in a label-aware manner. Further, we propose a domain-specific prompt learning technique which leverages the training samples of all the available domains based on the extent they can be useful to the desired domain. Extensive experiments on a large-scale benchmark dataset, namely NewsCLIPpings demonstrate that the proposed framework achieves state of-the-art performance, significantly surpassing the existing approaches for this challenging task. Code will be released on acceptance.
• Abstract（参考訳）: 文脈外画像を用いた偽ニュースの拡散が広まり、情報過負荷の時代において関連する問題となっている。 このようなコンテキスト外フェイクニュースは、政治、スポーツ、エンターテイメントなど、さまざまなドメインで発生します。 現実のシナリオでは、多くの異なるドメインのニュース記事に固有の不均衡の問題が存在し、その結果、豊富なデータを持ついくつかのドメインが生まれ、残りは限られたデータを含んでいる。 このような状況下では、このようなさまざまな量のデータ設定で動作する方法を開発することが不可欠である。 本研究では,この課題を解決するために,コンテキスト外誤情報検出(マルチモーダルフェイクニュース検出)の改善にドメイン外データが役立つかどうかを検討する。 そこで本研究では,DPOD(Domain-specific Prompt-tuning using Out-of-Domain data)と呼ばれる新しいフレームワークを提案する。 まず、一般化可能な特徴を計算するために、視覚言語モデルであるCLIPを修正し、画像の表現と、ドメイン内およびドメイン外データの対応するテキストキャプションをラベル認識方式で整列させる特徴を抽出する。 さらに,所望のドメインに有用である程度に基づいて,利用可能なすべてのドメインのトレーニングサンプルを活用する,ドメイン固有のプロンプト学習手法を提案する。 大規模ベンチマークデータセット、すなわちニュースクリッピングに関する広範な実験は、提案されたフレームワークが最先端のパフォーマンスを達成し、この課題に対する既存のアプローチを大幅に上回っていることを示している。 コードは受理時にリリースされる。

関連論文リスト

• Learning Domain-Invariant Features for Out-of-Context News Detection [19.335065976085982]
  アウト・オブ・コンテクストのニュースは、オンラインメディアプラットフォームでよく見られる誤報である。 本研究では,ドメイン適応型文脈外ニュース検出に焦点をあてる。 ドメイン不変の特徴を学習するために,コントラスト学習と最大平均誤差(MMD)を適用したConDA-TTAを提案する。
  論文  参考訳（メタデータ） (2024-06-11T16:34:02Z)
• Beyond Finite Data: Towards Data-free Out-of-distribution Generalization via Extrapolation [19.944946262284123]
  ニューラルネットワークが人間のように外挿し、OODの一般化を実現するにはどうすればよいのか? 本稿では,大言語モデル(LLM)にカプセル化されている推論能力と広範な知識を活用して,完全に新しいドメインを合成する領域外挿手法を提案する。 提案手法は, VLCSなどのデータセットにおいて, 教師付き設定を約1～2%超え, 評価可能な性能を示す。
  論文  参考訳（メタデータ） (2024-03-08T18:44:23Z)
• Robust Domain Misinformation Detection via Multi-modal Feature Alignment [49.89164555394584]
  マルチモーダルな誤情報検出のための頑健なドメインとクロスモーダルなアプローチを提案する。 テキストと視覚の共役分布を整列させることにより、ドメインシフトを低減する。 また,ドメイン一般化のアプリケーションシナリオを同時に検討するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-24T07:06:16Z)
• Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through Active Exploration [64.58185031596169]
  Explore-Instructは、ドメイン固有の命令チューニングで使用されるデータカバレッジを強化する新しいアプローチである。 データ中心分析は、ドメイン固有の命令カバレッジを改善するために提案手法の有効性を検証する。 我々の発見は、特にドメイン固有の文脈において、命令カバレッジを改善するための有望な機会を提供する。
  論文  参考訳（メタデータ） (2023-10-13T15:03:15Z)
• Harnessing the Power of Multi-Lingual Datasets for Pre-training: Towards Enhancing Text Spotting Performance [15.513912470752041]
  様々な領域への適応能力は、実環境にデプロイする際のシーンテキストスポッティングモデルに不可欠である。 本稿では,ドメイン適応型シーンテキストスポッティングの問題,すなわちマルチドメインソースデータを用いたモデルトレーニングについて検討する。 その結果,複数の領域にまたがるテキストスポッティングベンチマークにおいて,中間表現が有意な性能を発揮する可能性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-02T06:08:01Z)
• Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
  ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。 本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。 本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T12:58:20Z)
• Improving Fake News Detection of Influential Domain via Domain- and Instance-Level Transfer [16.886024206337257]
  フェイクニュース検出(DITFEND)のためのドメインレベルおよびインスタンスレベルの転送フレームワークを提案する。 DITFENDは特定のターゲットドメインの性能を向上させることができる。 オンライン実験は、現実世界のシナリオにおいて、ベースモデルにさらなる改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-19T10:21:13Z)
• Variational Attention: Propagating Domain-Specific Knowledge for Multi-Domain Learning in Crowd Counting [75.80116276369694]
  群集カウントでは, 激しいラベル付けの問題により, 新しい大規模データセットを収集する難易度が知覚される。 マルチドメイン共同学習を活用し,DKPNet(Domain-specific Knowledge Propagating Network)を提案する。 主に、異なるドメインに対する注意分布を明示的にモデル化する、新しい変動注意法(VA)技術を提案する。
  論文  参考訳（メタデータ） (2021-08-18T08:06:37Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。