論文の概要: Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs

• arxiv url: http://arxiv.org/abs/2504.09456v1
• Date: Sun, 13 Apr 2025 06:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:54:56.425498
• Title: Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs
• Title（参考訳）: 誤解しない:LMMにおける意図的位置によるガスライティングの緩和
• Authors: Pengkun Jiao, Bin Zhu, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang,
• Abstract要約: GasEraserはトレーニングなしのアプローチで、誤解を招くテキストトークンから意味論的に健全な視覚領域への注意重みを再配置する。 GasEraserは、再訓練や追加の監督を必要とせず、LMMの堅牢性を大幅に改善する。 LLaVA-v1.5-7Bでは、ガスアラサーは48.2%の誤認率を減らし、より信頼できるLMMの可能性を示している。
• 参考スコア（独自算出の注目度）: 102.18178065928426
• License:
• Abstract: Large Multimodal Models (LMMs) have demonstrated remarkable capabilities across a wide range of tasks. However, their vulnerability to user gaslighting-the deliberate use of misleading or contradictory inputs-raises critical concerns about their reliability in real-world applications. In this paper, we address the novel and challenging issue of mitigating the negative impact of negation-based gaslighting on LMMs, where deceptive user statements lead to significant drops in model accuracy. Specifically, we introduce GasEraser, a training-free approach that reallocates attention weights from misleading textual tokens to semantically salient visual regions. By suppressing the influence of "attention sink" tokens and enhancing focus on visually grounded cues, GasEraser significantly improves LMM robustness without requiring retraining or additional supervision. Extensive experimental results demonstrate that GasEraser is effective across several leading open-source LMMs on the GaslightingBench. Notably, for LLaVA-v1.5-7B, GasEraser reduces the misguidance rate by 48.2%, demonstrating its potential for more trustworthy LMMs.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は、幅広いタスクにまたがる顕著な機能を示している。 しかし、ユーザのガス灯に対する脆弱性 - 誤解を招く、あるいは矛盾する入力を意図的に使用すること-は、現実のアプリケーションにおけるその信頼性に対する重要な懸念を提起する。 本稿では,否定に基づくガスライティングがLMMに負の影響を和らげるという,新たな課題と課題に対処する。 具体的には、誤解を招くテキストトークンから意味論的に有意な視覚領域への注意重みを解消する、トレーニング不要なアプローチであるGasEraserを紹介する。 アテンションシンク」トークンの影響を抑え、視覚的に接地された手がかりに焦点を合わせることで、ガスエラーザーはリトレーニングや追加の監督を必要とせず、LMMロバスト性を大幅に改善する。 GasEraser は GaslightingBench 上のいくつかの主要なオープンソース LMM に対して有効であることを示す。 特に、LLaVA-v1.5-7Bでは、ガスエラーサーは誤認率を48.2%削減し、より信頼できるLMMの可能性を示している。

関連論文リスト

• Learning to Correction: Explainable Feedback Generation for Visual Commonsense Reasoning Distractor [12.829202761125096]
  大規模マルチモーダルモデル(LMM)は視覚的コモンセンス推論(VCR)タスクにおいて顕著な性能を示した。 しかし,LMMが障害発生時の視覚的コモンセンス誤差を補正する能力はまだ解明されていない。 我々はこの誤り訂正過程をシミュレートするLMMの先駆的な研究である。
  論文  参考訳（メタデータ） (2024-12-08T03:59:59Z)
• F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
  我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。 単語と画素の対応が視覚的接地によって誘導されるという事実は、十分に訓練されたLMMの注意機構に本質的に存在するという事実に基づいている。 表現セグメンテーションと単視的物語グラウンドベンチマークの競合性能を実現する。
  論文  参考訳（メタデータ） (2024-06-09T15:14:26Z)
• Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
  大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。 以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。 本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:26:56Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Rethinking Uncertainty in Deep Learning: Whether and How it Improves Robustness [20.912492996647888]
  対人訓練(AT)は、クリーンな例と他の種類の攻撃の両方において、パフォーマンスの低下に悩まされる。 エントロピー(EntM)やラベルスムーシング(LS)のような不確実な出力を促進する正規化器は、クリーンな例で精度を維持し、弱い攻撃下での性能を向上させることができる。 本稿では,逆学習分野において,EntMやLSを含む不確実性向上レギュレータを再検討する。
  論文  参考訳（メタデータ） (2020-11-27T03:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。