論文の概要: Remember Past, Anticipate Future: Learning Continual Multimodal Misinformation Detectors
- arxiv url: http://arxiv.org/abs/2507.05939v1
- Date: Tue, 08 Jul 2025 12:38:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-09 16:34:38.046661
- Title: Remember Past, Anticipate Future: Learning Continual Multimodal Misinformation Detectors
- Title(参考訳): 過去と未来を振り返って:連続的なマルチモーダルな誤報検出を学習する
- Authors: Bing Wang, Ximing Li, Mengzhe Ye, Changchun Li, Bo Fu, Jianfeng Qu, Lin Yuanbo Wu,
- Abstract要約: マルチモーダル誤情報検出(MMD)は、誤情報を自動的に識別するコミュニティで活発なトピックとなっている。
従来のMDD法はオフラインデータの収集による検出器の監視に重点を置いていた。
新たなイベントが常に出現し、オフラインデータ上でトレーニングされたMDDモデルは、一貫して時代遅れで非効率になる。
- 参考スコア(独自算出の注目度): 32.97594412075928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Nowadays, misinformation articles, especially multimodal ones, are widely spread on social media platforms and cause serious negative effects. To control their propagation, Multimodal Misinformation Detection (MMD) becomes an active topic in the community to automatically identify misinformation. Previous MMD methods focus on supervising detectors by collecting offline data. However, in real-world scenarios, new events always continually emerge, making MMD models trained on offline data consistently outdated and ineffective. To address this issue, training MMD models under online data streams is an alternative, inducing an emerging task named continual MMD. Unfortunately, it is hindered by two major challenges. First, training on new data consistently decreases the detection performance on past data, named past knowledge forgetting. Second, the social environment constantly evolves over time, affecting the generalization on future data. To alleviate these challenges, we propose to remember past knowledge by isolating interference between event-specific parameters with a Dirichlet process-based mixture-of-expert structure, and anticipate future environmental distributions by learning a continuous-time dynamics model. Accordingly, we induce a new continual MMD method DAEDCMD. Extensive experiments demonstrate that DAEDCMD can consistently and significantly outperform the compared methods, including six MMD baselines and three continual learning methods.
- Abstract(参考訳): 今日では、誤報記事、特にマルチモーダル記事がソーシャルメディアプラットフォームに広まり、深刻なネガティブな影響を及ぼしている。
情報伝達を制御するために,MMD(Multimodal Misinformation Detection)がコミュニティの活発なトピックとなり,誤情報を自動的に識別する。
従来のMDD法はオフラインデータの収集による検出器の監視に重点を置いていた。
しかし、現実のシナリオでは、新しいイベントが常に出現し、オフラインデータでトレーニングされたMDDモデルは一貫して時代遅れで非効率である。
この問題に対処するため、オンラインデータストリーム下でMDDモデルをトレーニングすることは代替案であり、連続MDDと呼ばれる新しいタスクを誘導する。
残念ながら、それは2つの大きな課題によって妨げられています。
第一に、新しいデータのトレーニングは、過去の知識を忘れることという過去のデータの検出性能を一貫して低下させる。
第2に、社会環境は時間とともに常に進化し、将来のデータの一般化に影響を及ぼす。
これらの課題を解決するため,ディリクレプロセスに基づく混合・オブ・エキスパート構造を用いてイベント固有パラメータ間の干渉を分離し,連続時間力学モデルから将来の環境分布を予測することによって過去の知識を記憶することを提案する。
そこで我々は,新たな連続MDD法であるDAEDCMDを考案した。
DAEDCMDは6つのMDDベースラインと3つの連続学習方法を含む、比較手法を一貫して、かつ著しく上回っている。
関連論文リスト
- Multimodal Event Detection: Current Approaches and Defining the New Playground through LLMs and VLMs [2.2178611170510694]
本稿では,ソーシャルメディア上でのイベント検出の課題について考察する。
我々は、Unimodal ModernBERTやConvNeXt-V2、マルチモーダル融合技術、GPT-4oやLLaVAといった先進的な生成モデルなど、様々なモデルを採用しています。
論文 参考訳(メタデータ) (2025-05-16T04:07:21Z) - Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳(メタデータ) (2024-11-11T07:36:19Z) - Decision Mamba: A Multi-Grained State Space Model with Self-Evolution Regularization for Offline RL [57.202733701029594]
本稿では,自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
これらの課題に対処するため、我々は自己進化型政策学習戦略を持つ新しい多粒状態空間モデル(SSM)であるDecision Mambaを提案する。
雑音性軌道上における過度に適合する問題を緩和するために,進行正則化を用いて自己進化政策を提案する。
論文 参考訳(メタデータ) (2024-06-08T10:12:00Z) - Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with Positive Forward Transfer [21.57847333976567]
MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。
MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。
本稿では,これらの問題に対処するため,Pwd-Prompt Forward Transfer(Pwd-Prompt)を用いたPrompt Tuningを提案する。
論文 参考訳(メタデータ) (2024-01-17T12:44:17Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳(メタデータ) (2023-05-29T05:20:38Z) - VERITE: A Robust Benchmark for Multimodal Misinformation Detection
Accounting for Unimodal Bias [17.107961913114778]
マルチモーダルの誤報は ソーシャルメディアのプラットフォームで 増え続けている問題です
本研究では,広範に使用されているMDDベンチマークにおいて,一様偏差の存在を調査・同定する。
リアルな合成学習データを生成するための新しい手法であるCrossmodal HArd Synthetic MisAlignment (CHASMA)を導入する。
論文 参考訳(メタデータ) (2023-04-27T12:28:29Z) - Lifelong Intent Detection via Multi-Strategy Rebalancing [18.424132535727217]
本稿では,新しいデータに対するIDモデルを継続的に訓練し,新たな意図を学習するライフロングインテント検出(LID)を提案する。
既存の生涯学習手法は、通常、LIDタスクにおける古いデータと新しいデータの間の深刻な不均衡に悩まされる。
本稿では,コサイン正規化,階層的知識蒸留,クラス間マージン損失からなる,新しい生涯学習手法であるMulti-Strategy Rebalancing(MSR)を提案する。
論文 参考訳(メタデータ) (2021-08-10T04:35:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。