論文の概要: Uncovering and Mitigating Transient Blindness in Multimodal Model Editing

• arxiv url: http://arxiv.org/abs/2511.13243v1
• Date: Mon, 17 Nov 2025 11:04:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:25.144631
• Title: Uncovering and Mitigating Transient Blindness in Multimodal Model Editing
• Title（参考訳）: 多モードモデル編集における過渡的盲点の発見と緩和
• Authors: Xiaoqi Han, Ru Li, Ran Yi, Hongye Tan, Zhuomin Liang, Víctor Gutiérrez-Basulto, Jeff Z. Pan,
• Abstract要約: マルチモーダルモデル編集は、マルチモーダルモデルにおける誤った知識の修正を目的としている。 テキストモデル編集から適応した既存の評価手法は、低相似性やランダムな入力に依存してオーバステートを成功させる。 本稿では,ランダム画像の局所性,非画像の局所性,一貫した局所性という3つの重要な側面を網羅した包括的局所性評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.112262134308004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Model Editing (MMED) aims to correct erroneous knowledge in multimodal models. Existing evaluation methods, adapted from textual model editing, overstate success by relying on low-similarity or random inputs, obscure overfitting. We propose a comprehensive locality evaluation framework, covering three key dimensions: random-image locality, no-image locality, and consistent-image locality, operationalized through seven distinct data types, enabling a detailed and structured analysis of multimodal edits. We introduce De-VQA, a dynamic evaluation for visual question answering, uncovering a phenomenon we term transient blindness, overfitting to edit-similar text while ignoring visuals. Token analysis shows edits disproportionately affect textual tokens. We propose locality-aware adversarial losses to balance cross-modal representations. Empirical results demonstrate that our approach consistently outperforms existing baselines, reducing transient blindness and improving locality by 17% on average.
• Abstract（参考訳）: マルチモーダルモデル編集(MMED)は、マルチモーダルモデルにおける誤った知識の修正を目的としている。 テキストモデル編集から適応した既存の評価手法は、低相似性やランダムな入力に頼ってオーバステートを成功させ、不明瞭なオーバーフィッティングを行う。 本研究では,ランダム画像の局所性,非画像の局所性,一貫した局所性という3つの重要な側面を網羅する包括的局所性評価フレームワークを提案する。 視覚的質問応答を動的に評価するDe-VQAを導入し、過渡盲という現象を明らかにし、視覚を無視しながら編集類似のテキストに過度に適合する。 トークン分析では、編集がテキストトークンに不釣り合いに影響を及ぼす。 モーダル表現のバランスをとるために,局所性を考慮した対角的損失を提案する。 実験の結果,我々のアプローチは既存のベースラインを一貫して上回り,過度な盲点を減らし,局所性を平均17%向上させることがわかった。

関連論文リスト

• Cross Modal Fine-grained Alignment via Granularity-aware and Region-uncertain Modeling [17.78769812974246]
  微細な画像テキストアライメントは、マルチモーダル学習における重要な課題である。 本稿では,意味認識と地域レベルの不確実性モデリングを融合した統一アプローチを提案する。 提案手法は,各種バックボーンアーキテクチャにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-11-11T00:28:11Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models [10.106066580331584]
  我々は,画像,ビデオ,オーディオ,時系列,グラフなど多種多様なデータモダリティにまたがるテキスト優位性を,初めて体系的に調査した。 奥行き分析では,非テクスチュアルなモダリティにおける高度トークン冗長性からの注意の希釈,融合アーキテクチャ設計の影響,テキスト入力を暗黙的に好むタスクの定式化という,3つの根本原因を明らかにした。
  論文  参考訳（メタデータ） (2025-08-14T11:44:52Z)
• A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets [26.167194142428475]
  視覚言語モデル(VLM)は、高品質な画像テキストデータが不足しているため、しばしば構成的推論に苦しむ。 手動のアノテーションを使わずに反実データを自動的に生成するブロックベース拡散手法を提案する。 提案手法は,既存の手法に比べてトレーニングデータを大幅に少なくしながら,複数のベンチマークにまたがる最先端の結果を達成している。
  論文  参考訳（メタデータ） (2025-07-07T06:47:10Z)
• What Changed? Detecting and Evaluating Instruction-Guided Image Edits with Multimodal Large Language Models [88.398085358514]
  DICEは、原画像と編集画像の局所的な差異を検出するために設計されたモデルである。 自己監督、塗布ネットワークからの蒸留、全監督を利用する戦略を用いて訓練されている。 DICEは一貫性のある編集を効果的に識別し、異なる編集モデルによって生成された画像を人間の判断と強く相関して効果的に評価する。
  論文  参考訳（メタデータ） (2025-05-26T18:00:10Z)
• A Meaningful Perturbation Metric for Evaluating Explainability Methods [55.09730499143998]
  本稿では,画像生成モデルを用いて標的摂動を行う新しい手法を提案する。 具体的には,画像の忠実さを保ちながら,入力画像の高関連画素のみを塗布し,モデルの予測を変更することに焦点を当てる。 これは、しばしばアウト・オブ・ディストリビューションの修正を生み出し、信頼できない結果をもたらす既存のアプローチとは対照的である。
  論文  参考訳（メタデータ） (2025-04-09T11:46:41Z)
• Words or Vision: Do Vision-Language Models Have Blind Faith in Text? [34.88114876390461]
  VLM(Vision-Language Models)は、視覚中心のタスクに対する視覚情報とテキスト情報の統合に優れる。 視覚中心設定における視覚データや様々なテキスト入力に直面するVLMのモダリティ嗜好について検討する。 不整合が発生した場合、VLMは視覚的データよりもテキストデータを不均等に信頼する。
  論文  参考訳（メタデータ） (2025-03-04T02:21:07Z)
• NPHardEval4V: Dynamic Evaluation of Large Vision-Language Models with Effects of Vision [64.83085920775316]
  NPHardEval4Vは4つの古典的NPハード問題に基づくマルチモーダルベンチマークスイートである。 各タスクは、構造化された視覚レイアウトとテキストプロンプトを組み合わせることで、視覚言語的制約の下で推論を行うLVLMの能力を評価するように設計されている。 以上の結果から,これらのモデルは知覚に基づく入力に対して合理的に優れているが,グローバルな最適化,抽象化,制約満足度に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-04T07:10:31Z)
• Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization [7.4262579052708535]
  この効果はマルチモーダルVAEトレーニングにおける勾配の相反の結果である,と我々は主張する。 勾配が矛盾する計算グラフのサブグラフを検出する方法を示す。 実験により,本フレームワークは,モジュール間の遅延空間の再構成性能,条件生成,コヒーレンスを著しく向上させることを示した。
  論文  参考訳（メタデータ） (2022-06-09T13:29:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。