Fugu-MT 論文翻訳(概要): Harmfully Manipulated Images Matter in Multimodal Misinformation Detection

論文の概要: Harmfully Manipulated Images Matter in Multimodal Misinformation Detection

arxiv url: http://arxiv.org/abs/2407.19192v1
Date: Sat, 27 Jul 2024 07:16:07 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 19:21:07.466491
Title: Harmfully Manipulated Images Matter in Multimodal Misinformation Detection
Title（参考訳）: マルチモーダル誤情報検出におけるハーモディ・マニピュレーション画像の課題
Authors: Bing Wang, Shengsheng Wang, Changchun Li, Renchu Guan, Ximing Li,
Abstract要約: MMD(Multimodal Misinformation Detection)は、学術・産業コミュニティから注目を集めている。我々は,MDD(HAMI-M3D)における新たなHAMI-M3D法,すなわちハーモリー・マニピュレーション・イメージ・マターを提案する。 3つのベンチマークデータセットにわたる大規模な実験は、HAMI-M3Dが任意のMDDベースラインのパフォーマンスを一貫して改善できることを実証することができる。
参考スコア（独自算出の注目度）: 22.236455110413264
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Nowadays, misinformation is widely spreading over various social media platforms and causes extremely negative impacts on society. To combat this issue, automatically identifying misinformation, especially those containing multimodal content, has attracted growing attention from the academic and industrial communities, and induced an active research topic named Multimodal Misinformation Detection (MMD). Typically, existing MMD methods capture the semantic correlation and inconsistency between multiple modalities, but neglect some potential clues in multimodal content. Recent studies suggest that manipulated traces of the images in articles are non-trivial clues for detecting misinformation. Meanwhile, we find that the underlying intentions behind the manipulation, e.g., harmful and harmless, also matter in MMD. Accordingly, in this work, we propose to detect misinformation by learning manipulation features that indicate whether the image has been manipulated, as well as intention features regarding the harmful and harmless intentions of the manipulation. Unfortunately, the manipulation and intention labels that make these features discriminative are unknown. To overcome the problem, we propose two weakly supervised signals as alternatives by introducing additional datasets on image manipulation detection and formulating two classification tasks as positive and unlabeled learning problems. Based on these ideas, we propose a novel MMD method, namely Harmfully Manipulated Images Matter in MMD (HAMI-M3D). Extensive experiments across three benchmark datasets can demonstrate that HAMI-M3D can consistently improve the performance of any MMD baselines.
Abstract（参考訳）: 現在、誤報は様々なソーシャルメディアプラットフォームに広まり、社会に極めて悪影響を及ぼしている。この問題に対処するため,誤情報,特にマルチモーダルコンテンツを含むものの自動識別は,学術・産業コミュニティから注目を集め,MMD(Multimodal Misinformation Detection)と呼ばれる活発な研究トピックを誘導している。通常、既存のMDD法は複数のモーダル間の意味的相関と矛盾を捉えるが、マルチモーダル内容の潜在的な手がかりは無視する。近年の研究では、記事中の画像の操作された痕跡が、誤報を検出するための非自明な手がかりであることが示唆されている。一方、MDDでは、その操作の背後にある意図、例えば有害で無害な意図も重要である。そこで本研究では、画像が操作されたかどうかを示す操作特徴と、その操作の有害かつ無害な意図に関する意図的特徴を学習することにより、誤情報を検出することを提案する。残念ながら、これらの特徴を識別する操作や意図のラベルは未知数である。この問題を解決するために、画像操作検出のための追加データセットを導入し、2つの分類タスクを肯定的かつ未ラベルの学習問題として定式化することにより、2つの弱教師付き信号の代替として提案する。そこで本研究では,MDDにおけるHamfully Manipulated Images Matter in MMD (HAMI-M3D) という新しいMDD手法を提案する。 3つのベンチマークデータセットにわたる大規模な実験は、HAMI-M3Dが任意のMDDベースラインのパフォーマンスを一貫して改善できることを実証することができる。

関連論文リスト

Interactive Masked Image Modeling for Multimodal Object Detection in Remote Sensing [2.0528748158119434]
マルチモーダル学習は、異なるデータモダリティの機能を統合するために使用することができ、それによって検出精度が向上する。本稿では,事前学習手法としてMasked Image Modeling (MIM) を提案する。そこで本稿では,リモートセンシングにおけるオブジェクト検出に特に有用である,異なるトークン間のインタラクションを確立するための対話型MIM手法を提案する。
論文参考訳（メタデータ） (2024-09-13T14:50:50Z)
Detecting Misinformation in Multimedia Content through Cross-Modal Entity Consistency: A Dual Learning Approach [10.376378437321437]
クロスモーダルなエンティティの整合性を利用して、ビデオコンテンツから誤情報を検出するためのマルチメディア誤情報検出フレームワークを提案する。以上の結果から,MultiMDは最先端のベースラインモデルより優れていることが示された。
論文参考訳（メタデータ） (2024-08-16T16:14:36Z)
Improving Vision Anomaly Detection with the Guidance of Language Modality [64.53005837237754]
本稿では,マルチモーダルの観点から視覚モダリティの課題に取り組む。本稿では,冗長な情報問題とスパース空間問題に対処するために,クロスモーダルガイダンス(CMG)を提案する。視覚異常検出のためのよりコンパクトな潜在空間を学習するために、CMLEは言語モダリティから相関構造行列を学習する。
論文参考訳（メタデータ） (2023-10-04T13:44:56Z)
Detecting and Grounding Multi-Modal Media Manipulation and Beyond [93.08116982163804]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文参考訳（メタデータ） (2023-09-25T15:05:46Z)
M3Dsynth: A dataset of medical 3D images with AI-generated local manipulations [10.20962191915879]
M3DsynthはCT(Computed Tomography)肺画像の大規模なデータセットである。実際のCTで肺がん結節を注入または除去することにより,操作画像を作成する。実験の結果、これらの画像は簡単に自動診断ツールを騙すことが判明した。
論文参考訳（メタデータ） (2023-09-14T18:16:58Z)
Detecting and Grounding Multi-Modal Media Manipulation [32.34908534582532]
マルチモーダルフェイクメディア(DGM4)の新たな研究課題について述べる。 DGM4は、マルチモーダルメディアの真正性を検出するだけでなく、操作されたコンテンツも検出することを目的としている。本稿では,異なるモーダル間のきめ細かい相互作用を完全に捉えるために,新しい階層型マルチモーダルマニピュレーションrEasoning tRansformer(HAMMER)を提案する。
論文参考訳（メタデータ） (2023-04-05T16:20:40Z)
Multimodal Industrial Anomaly Detection via Hybrid Fusion [59.16333340582885]
ハイブリッド核融合方式を用いた新しいマルチモーダル異常検出法を提案する。本モデルでは,MVTecD-3 ADデータセットにおける検出精度とセグメンテーション精度の両面で,最先端(SOTA)手法より優れている。
論文参考訳（メタデータ） (2023-03-01T15:48:27Z)
Absolute Wrong Makes Better: Boosting Weakly Supervised Object Detection via Negative Deterministic Information [54.35679298764169]
弱教師付き物体検出(WSOD)は、画像レベルのラベルを用いて物体検出を訓練する難しい課題である。本稿では,WSODにおける決定論的情報を特定し,完全に活用することに焦点を当てる。我々は、WSOD、すなわちNDI-WSODを改善するための負の決定論的情報(NDI)に基づく手法を提案する。
論文参考訳（メタデータ） (2022-04-21T12:55:27Z)
ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文参考訳（メタデータ） (2022-03-28T12:27:34Z)
Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文参考訳（メタデータ） (2021-08-15T02:21:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。