論文の概要: ASAP: Advancing Semantic Alignment Promotes Multi-Modal Manipulation Detecting and Grounding

• arxiv url: http://arxiv.org/abs/2412.12718v1
• Date: Tue, 17 Dec 2024 09:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:32.588848
• Title: ASAP: Advancing Semantic Alignment Promotes Multi-Modal Manipulation Detecting and Grounding
• Title（参考訳）: ASAP: セマンティックアライメントの強化はマルチモーダルマニピュレーション検出とグラウンド化を促進する
• Authors: Zhenxing Zhang, Yaxiong Wang, Lechao Cheng, Zhun Zhong, Dan Guo, Meng Wang,
• Abstract要約: マルチモーダルメディア操作(DGM4)の検出とグラウンド化のための新しいフレームワークASAPを提案する。 検出と接地を正確に操作するためには,画像とテキスト間の細粒度間のセマンティックアライメントが不可欠である。 我々は,MLLM(Large Language Models)とLLM(Large Language Models)を用いて,ペア画像とテキストのペアを構築する。
• 参考スコア（独自算出の注目度）: 44.512534064952206
• License:
• Abstract: We present ASAP, a new framework for detecting and grounding multi-modal media manipulation (DGM4).Upon thorough examination, we observe that accurate fine-grained cross-modal semantic alignment between the image and text is vital for accurately manipulation detection and grounding. While existing DGM4 methods pay rare attention to the cross-modal alignment, hampering the accuracy of manipulation detecting to step further. To remedy this issue, this work targets to advance the semantic alignment learning to promote this task. Particularly, we utilize the off-the-shelf Multimodal Large-Language Models (MLLMs) and Large Language Models (LLMs) to construct paired image-text pairs, especially for the manipulated instances. Subsequently, a cross-modal alignment learning is performed to enhance the semantic alignment. Besides the explicit auxiliary clues, we further design a Manipulation-Guided Cross Attention (MGCA) to provide implicit guidance for augmenting the manipulation perceiving. With the grounding truth available during training, MGCA encourages the model to concentrate more on manipulated components while downplaying normal ones, enhancing the model's ability to capture manipulations. Extensive experiments are conducted on the DGM4 dataset, the results demonstrate that our model can surpass the comparison method with a clear margin.
• Abstract（参考訳）: マルチモーダルメディア操作(DGM4)の検出とグラウンド化のための新しいフレームワークであるASAPを提案する。 徹底的な検討により,画像とテキスト間の高精度な相互意味的アライメントが検出と接地を正確に操作するために不可欠であることが確認された。 既存のDGM4法はクロスモーダルアライメントに稀な注意を払っており、検出の精度を損なう。 この課題を解決するため、本研究は、この課題を促進するためにセマンティックアライメント学習を進めることを目的としている。 特に,市販のマルチモーダル大言語モデル (MLLM) と大規模言語モデル (LLM) を用いて,特に操作されたインスタンスにおいて,ペア化された画像テキストペアを構築する。 その後、意味的アライメントを高めるために、クロスモーダルアライメント学習を行う。 明示的な補助的手がかりの他に,操作を増強するための暗黙的なガイダンスを提供するためにMGCA(Manipulation-Guided Cross Attention)を設計する。 MGCAはトレーニング中に真理を定めているため、通常のコンポーネントをダウンプレイしながら操作されたコンポーネントにもっと集中することを奨励し、操作をキャプチャするモデルの能力を高める。 DGM4データセットを用いて大規模な実験を行い, 得られた結果から, モデルが有意なマージンを持つ比較手法を克服できることが示唆された。

関連論文リスト

• Aligning First, Then Fusing: A Novel Weakly Supervised Multimodal Violence Detection Method [11.01048485795428]
  そこで我々は,新たな暴力検出フレームワークを提案する。 一助多目的学習(unimodal multiple-instance learning)は、一助多目的学習(unimodal semantic features)、多モーダルアライメント(multimodal alignment)、多モーダル融合(multimodal fusion)、最終検出(final detection)からなる。 ベンチマークデータセットによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-01-13T17:14:25Z)
• ForgerySleuth: Empowering Multimodal Large Language Models for Image Manipulation Detection [107.86009509291581]
  我々はForgerySleuthを提案し、包括的ヒント融合を行い、改ざんされた領域を示すセグメンテーション出力を生成する。 ForgeryAnalysisの有効性を実証し,ForgerySleuthが既存手法の堅牢性,一般化性,説明可能性において著しく優れていたことを示す。
  論文  参考訳（メタデータ） (2024-11-29T04:35:18Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-09-25T15:05:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Detecting and Grounding Multi-Modal Media Manipulation [32.34908534582532]
  マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。 本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:20:40Z)
• Detecting Human-Object Interactions with Object-Guided Cross-Modal Calibrated Semantics [6.678312249123534]
  我々は,オブジェクト指向の統計モデルを用いて,エンドツーエンドのモデルを強化することを目指している。 本稿では,Verb Semantic Model (VSM) とセマンティックアグリゲーション(セマンティックアグリゲーション)を用いて,このオブジェクト誘導階層から利益を得る方法を提案する。 上記のモジュールの組み合わせは、オブジェクト指向クロスモーダルネットワーク(OCN)を構成する。
  論文  参考訳（メタデータ） (2022-02-01T07:39:04Z)
• Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
  Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。 マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。 このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
  論文  参考訳（メタデータ） (2020-01-06T13:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。