論文の概要: MiD-VLM: Detecting and Grounding Global Semantic Misinformation in Image-Caption Pairs

• arxiv url: http://arxiv.org/abs/2610.32967v1
• Date: Fri, 23 Oct 2026 17:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.628927
• Title: MiD-VLM: Detecting and Grounding Global Semantic Misinformation in Image-Caption Pairs
• Title（参考訳）: MiD-VLM:イメージキャプションペアにおけるグローバルセマンティック誤情報の検出とグラウンド化
• Abstract要約: 画像キャプチャ対における意味的不整合を検出する問題について検討する。 本稿では,SigLIPの画像テキスト表現と視覚的シーン特徴を組み合わせたモデルを提案する。 モデルは、画像カプセルペアが本物かどうかを共同で予測し、操作タイプを特定し、誤解を招くキャプショントークンを根拠とする。
• 参考スコア（独自算出の注目度）: 2.435006380732194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semantic misinformation can arise when an authentic image is paired with a caption that changes or distorts its narrative. Because the image itself may contain no visible signs of manipulation, methods designed to detect pixel-level artifacts can miss these misleading image-caption pairs. We study this problem using DGM4+, a dataset designed to evaluate the detection of global scene and semantic inconsistencies. We propose a multimodal model that combines image-text representations from SigLIP with visual scene features from DINOv2 through a projection MLP, and adapts Qwen2-VL-7B using LoRA. The model jointly predicts whether an image-caption pair is authentic, identifies the manipulation type, and grounds the misleading caption tokens. On the DGM4+ validation split, the model achieves an F1 score of $0.9679$ for binary authenticity classification. These results suggest that parameter-efficient adaptation of vision-language models is promising for detecting semantic inconsistencies, while also motivating further work on precise token-level grounding.
• Abstract（参考訳）: 意味的な誤報は、真正なイメージと、その物語を変えたり歪んだりするキャプションが組み合わされたときに起こりうる。 画像自体に操作の目に見える兆候がない可能性があるため、ピクセルレベルのアーティファクトを検出するために設計された手法は、これらの誤解を招くイメージキャプチャペアを見逃す可能性がある。 本研究では,グローバルシーンの検出と意味的不整合の評価を目的としたデータセットであるDGM4+を用いて,この問題について検討する。 本稿では,SigLIPの画像テキスト表現とDINOv2の視覚的特徴をプロジェクションMLPで組み合わせたマルチモーダルモデルを提案し,LoRAを用いてQwen2-VL-7Bを適応する。 モデルは、画像カプセルペアが本物かどうかを共同で予測し、操作タイプを特定し、誤解を招くキャプショントークンを根拠とする。 DGM4+の検証分割では、F1スコアが0.9679$である。 これらの結果から,視覚言語モデルのパラメータ効率適応は意味的不整合を検出するとともに,正確なトークンレベルのグラウンド化へのさらなる取り組みを動機付けることが示唆された。

関連論文リスト

• From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation [16.148817642071638]
  回路図は、ハードウェアの視覚的なドメイン固有言語と見なすことができる。 このような図をレジスタ-トランスファーレベル(RTL)コードに変換することは、視覚-コード生成のための極めて信頼性の高いテストである。 回路図を空白の画像に置き換えると、Pass@kは変わらないかそれ以上になるのです。
  論文  参考訳（メタデータ） (2026-04-30T15:01:27Z)
• Leveraging Hierarchical Image-Text Misalignment for Universal Fake Image Detection [58.927873049646024]
  実画像と比較して,偽画像は対応するキャプションと適切に一致しないことを示す。 本稿では,視覚空間における画像テキストの不一致を識別的手がかりとして活用し,簡易かつ効果的なITEMを提案する。
  論文  参考訳（メタデータ） (2025-11-01T06:51:14Z)
• ASAP: Advancing Semantic Alignment Promotes Multi-Modal Manipulation Detecting and Grounding [67.66032656360815]
  マルチモーダルメディア操作(DGM4)の検出とグラウンド化のための新しいフレームワークASAPを提案する。 検出と接地を正確に操作するためには,画像とテキスト間の細粒度間のセマンティックアライメントが不可欠である。 我々は,MLLM(Large Language Models)とLLM(Large Language Models)を用いて,ペア画像とテキストのペアを構築する。
  論文  参考訳（メタデータ） (2024-12-17T09:33:06Z)
• Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
  In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。 本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。 本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-03T08:15:39Z)
• Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking [0.4543820534430524]
  この研究はガイドマスキング(英語版)と呼ばれる代替の探索戦略を導入する。 提案手法はマスキングを用いて異なるモダリティを識別し、マスキングされた単語を高精度に予測するモデルの能力を評価する。 ViLBERT,LXMERT,UNITER,VisualBERTの誘導マスキングにより,正しい動詞を高精度に予測できることを示す。
  論文  参考訳（メタデータ） (2024-01-29T21:22:23Z)
• Stochastic positional embeddings improve masked image modeling [95.03491875332034]
  Masked Image Modeling (MIM)は、ラベルなし画像からの学習を可能にする、有望な自己教師型学習アプローチである。 位置埋め込み(StoP)を用いて位置不確実性をMIMに組み込むことを提案する。 StoPは、ロケーション機能への過度な適合を減らし、ロケーションの不確実性に対して堅牢な学習機能に向けてモデルを導く。
  論文  参考訳（メタデータ） (2023-07-31T17:59:08Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Cheap-fake Detection with LLM using Prompt Engineering [16.029353282421116]
  実際の写真と矛盾する画像キャプションとの誤用は、メディアのアウト・オブ・コンテクスト(OOC)誤用の一例である。 本稿では,ICME'23 Grand Challenge on Detecting CheapfakesにおけるOOCメディア検出のための新しい学習可能なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-05T11:01:00Z)
• Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic [72.60554897161948]
  最近のテキストと画像のマッチングモデルは、未修正画像と文の大きなコーパスに対してコントラスト学習を適用している。 本研究では、そのようなモデルを用いて、推論時に画像が与えられた記述テキストを生成する。 結果として得られたキャプションは、教師付きキャプション法によるキャプションよりもはるかに制限を受けない。
  論文  参考訳（メタデータ） (2021-11-29T11:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。