論文の概要: Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs

• arxiv url: http://arxiv.org/abs/2504.09456v1
• Date: Sun, 13 Apr 2025 06:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-23 07:08:04.196657
• Title: Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs
• Title（参考訳）: 誤解しない:LMMにおける意図的位置によるガスライティングの緩和
• Authors: Pengkun Jiao, Bin Zhu, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang,
• Abstract要約: GasEraserはトレーニングなしのアプローチで、誤解を招くテキストトークンから意味論的に健全な視覚領域への注意重みを再配置する。 GasEraserは、再訓練や追加の監督を必要とせず、LMMの堅牢性を大幅に改善する。 LLaVA-v1.5-7Bでは、ガスアラサーは48.2%の誤認率を減らし、より信頼できるLMMの可能性を示している。
• 参考スコア（独自算出の注目度）: 102.18178065928426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multimodal Models (LMMs) have demonstrated remarkable capabilities across a wide range of tasks. However, their vulnerability to user gaslighting-the deliberate use of misleading or contradictory inputs-raises critical concerns about their reliability in real-world applications. In this paper, we address the novel and challenging issue of mitigating the negative impact of negation-based gaslighting on LMMs, where deceptive user statements lead to significant drops in model accuracy. Specifically, we introduce GasEraser, a training-free approach that reallocates attention weights from misleading textual tokens to semantically salient visual regions. By suppressing the influence of "attention sink" tokens and enhancing focus on visually grounded cues, GasEraser significantly improves LMM robustness without requiring retraining or additional supervision. Extensive experimental results demonstrate that GasEraser is effective across several leading open-source LMMs on the GaslightingBench. Notably, for LLaVA-v1.5-7B, GasEraser reduces the misguidance rate by 48.2%, demonstrating its potential for more trustworthy LMMs.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は、幅広いタスクにまたがる顕著な機能を示している。 しかし、ユーザのガス灯に対する脆弱性 - 誤解を招く、あるいは矛盾する入力を意図的に使用すること-は、現実のアプリケーションにおけるその信頼性に対する重要な懸念を提起する。 本稿では,否定に基づくガスライティングがLMMに負の影響を和らげるという,新たな課題と課題に対処する。 具体的には、誤解を招くテキストトークンから意味論的に有意な視覚領域への注意重みを解消する、トレーニング不要なアプローチであるGasEraserを紹介する。 アテンションシンク」トークンの影響を抑え、視覚的に接地された手がかりに焦点を合わせることで、ガスエラーザーはリトレーニングや追加の監督を必要とせず、LMMロバスト性を大幅に改善する。 GasEraser は GaslightingBench 上のいくつかの主要なオープンソース LMM に対して有効であることを示す。 特に、LLaVA-v1.5-7Bでは、ガスエラーサーは誤認率を48.2%削減し、より信頼できるLMMの可能性を示している。

関連論文リスト

• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• The Other Side of the Coin: Exploring Fairness in Retrieval-Augmented Generation [73.16564415490113]
  Retrieval-Augmented Generation (RAG)は、外部の知識ソースから関連文書を取得することにより、Large Language Models (LLM)を強化する。 本稿では,小規模LLMにおいてRAGが導入した公平性問題を軽減するために,FairFTとFairFilterの2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-11T10:17:10Z)
• Calling a Spade a Heart: Gaslighting Multimodal Large Language Models via Negation [65.92001420372007]
  本稿では,様々なベンチマークにおいて最先端MLLMを体系的に評価する。 本稿では,MLLMの脆弱性を否定的議論に対して評価するために設計された,最初のベンチマークであるGaslightingBenchを紹介する。
  論文  参考訳（メタデータ） (2025-01-31T10:37:48Z)
• Learning to Correction: Explainable Feedback Generation for Visual Commonsense Reasoning Distractor [12.829202761125096]
  大規模マルチモーダルモデル(LMM)は視覚的コモンセンス推論(VCR)タスクにおいて顕著な性能を示した。 しかし,LMMが障害発生時の視覚的コモンセンス誤差を補正する能力はまだ解明されていない。 我々はこの誤り訂正過程をシミュレートするLMMの先駆的な研究である。
  論文  参考訳（メタデータ） (2024-12-08T03:59:59Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
  我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。 単語と画素の対応が視覚的接地によって誘導されるという事実は、十分に訓練されたLMMの注意機構に本質的に存在するという事実に基づいている。 表現セグメンテーションと単視的物語グラウンドベンチマークの競合性能を実現する。
  論文  参考訳（メタデータ） (2024-06-09T15:14:26Z)
• Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
  大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。 以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。 本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T16:26:56Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)
• Rethinking Uncertainty in Deep Learning: Whether and How it Improves Robustness [20.912492996647888]
  対人訓練(AT)は、クリーンな例と他の種類の攻撃の両方において、パフォーマンスの低下に悩まされる。 エントロピー(EntM)やラベルスムーシング(LS)のような不確実な出力を促進する正規化器は、クリーンな例で精度を維持し、弱い攻撃下での性能を向上させることができる。 本稿では,逆学習分野において,EntMやLSを含む不確実性向上レギュレータを再検討する。
  論文  参考訳（メタデータ） (2020-11-27T03:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。