論文の概要: Towards Analyzing and Mitigating Sycophancy in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2408.11261v1
• Date: Wed, 21 Aug 2024 01:03:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-22 18:58:50.459172
• Title: Towards Analyzing and Mitigating Sycophancy in Large Vision-Language Models
• Title（参考訳）: 大規模視覚言語モデルにおけるシクロファンシーの分析と緩和に向けて
• Authors: Yunpu Zhao, Rui Zhang, Junbin Xiao, Changxin Ke, Ruibo Hou, Yifan Hao, Qi Guo, Yunji Chen,
• Abstract要約: LVLM(Large Vision-Language Models)は、視覚言語理解において重要な能力を示す。 シコファンシーは、先導的または偽りのプロンプトの影響を受けず、バイアスのあるアウトプットと幻覚をもたらす。 そこで本研究では,テキストのコントラスト復号化手法を提案する。
• 参考スコア（独自算出の注目度）: 22.658792167014624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Vision-Language Models (LVLMs) have shown significant capability in vision-language understanding. However, one critical issue that persists in these models is sycophancy, which means models are unduly influenced by leading or deceptive prompts, resulting in biased outputs and hallucinations. Despite the progress in LVLMs, evaluating and mitigating sycophancy is yet much under-explored. In this work, we fill this gap by systematically analyzing sycophancy on various VL benchmarks with curated leading queries and further proposing a text contrastive decoding method for mitigation. While the specific sycophantic behavior varies significantly among models, our analysis reveals the severe deficiency of all LVLMs in resilience of sycophancy across various tasks. For improvement, we propose Leading Query Contrastive Decoding (LQCD), a model-agnostic method focusing on calibrating the LVLMs' over-reliance on leading cues by identifying and suppressing the probabilities of sycophancy tokens at the decoding stage. Extensive experiments show that LQCD effectively mitigate sycophancy, outperforming both prompt engineering methods and common methods for hallucination mitigation. We further demonstrate that LQCD does not hurt but even slightly improves LVLMs' responses to neutral queries, suggesting it being a more effective strategy for general-purpose decoding but not limited to sycophancy.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)は、視覚言語理解において重要な能力を示す。 しかし、これらのモデルで持続する重要な問題の一つは、梅毒であり、これはモデルが先導的または偽りのプロンプトによって不規則に影響され、バイアスのある出力と幻覚をもたらすことを意味する。 LVLMの進歩にもかかわらず、シコファンシーの評価と緩和はいまだに過小評価されている。 本研究では,様々なVLベンチマークのサイコフィナンシーをキュレートした先行クエリで体系的に解析し,さらに緩和のためのテキストコントラスト復号法を提案することで,このギャップを埋める。 本研究は, 種々の課題において, LVLMの難易度が著しく低下していることを明らかにする。 提案手法は,LVLM がリードキューに対する過度な依存度を,デコード段階におけるサイコファンシートークンの可能性を同定し,抑制することに着目したモデル非依存の手法である。 広汎な実験により、LQCDは梅毒を効果的に軽減し、迅速な工学法と幻覚の緩和のための一般的な方法の両方を上回ります。 さらに、LQCDは中性クエリに対するLVLMの応答をわずかに改善するだけでなく、汎用デコードのためのより効果的な戦略であることを示す。

関連論文リスト

• On Evaluating Performance of LLM Inference Serving Systems [11.712948114304925]
  ベースラインフェアネス、評価設定、メトリックデザインの3つの重要な側面で繰り返し発生するアンチパターンを特定します。 これらのアンチパターンは、その二重相の性質のため、Large Language Model (LLM)推論に固有の問題である。 分析から得られた包括的なチェックリストを提供し、これらのアンチパターンを認識して回避するためのフレームワークを構築します。
  論文  参考訳（メタデータ） (2025-07-11T20:58:21Z)
• Seeing is Believing? Mitigating OCR Hallucinations in Multimodal Large Language Models [22.43132625619281]
  劣化文書理解におけるOCR幻覚評価のための最初のベンチマークであるKIE-HVQAを提案する。 このデータセットには、IDカードと請求書にまたがるテストサンプルが含まれており、OCR信頼性のための実世界の劣化をシミュレートしている。 Qwen2.5-VL 実験により,GPT-4o に対して 7B-パラメータモデルでは幻覚のない精度が 22% 向上していることが示された。
  論文  参考訳（メタデータ） (2025-06-25T06:44:07Z)
• Flattery in Motion: Benchmarking and Analyzing Sycophancy in Video-LLMs [6.527988482383714]
  ビデオ大言語モデル(ビデオ-LLM)は、マルチモーダル推論を必要とする現実のアプリケーションにますます統合されている。 これらのモデルが視覚的エビデンスと矛盾する場合でも、ユーザ入力と整合する傾向は、そのような文脈において彼らの信頼性を損なう。 我々は,最新のビデオLLMにおけるサイコファンティックな振る舞いを評価するための,最初の専用ベンチマークであるVISE(Video-LLM Sycophancy Benchmarking and Evaluation)を提案する。
  論文  参考訳（メタデータ） (2025-06-08T15:00:21Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Attention Reallocation: Towards Zero-cost and Controllable Hallucination Mitigation of MLLMs [62.9348974370985]
  約ゼロの余剰コストで幻覚を緩和するための注意再配置(AttnReal)を提案する。 我々のアプローチは,MLLMの注意分布が,歴史的出力トークンによって特徴が支配されるという重要な観測によって動機付けられている。 この観測に基づいて、AttnRealは出力トークンからの過剰な注意をリサイクルし、それを視覚トークンに再配置することで、MLLMの言語優先への依存を軽減します。
  論文  参考訳（メタデータ） (2025-03-11T11:52:37Z)
• VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
  因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。 VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。 GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索コーパスに注入された悪意のある通路が、モデルに誤った結果をもたらす可能性がある、敵の毒殺攻撃に対して脆弱である。 本稿では、RAGシステムがこのような攻撃下でどのように振る舞うか、その堅牢性がどのように改善されるかについて、厳密に制御された実証研究を示す。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• Sycophancy in Large Language Models: Causes and Mitigations [0.0]
  大規模言語モデル (LLM) は、幅広い自然言語処理タスクにおいて顕著な機能を示した。 シコファンの行動を示す傾向は、その信頼性と倫理的展開に重大なリスクをもたらす。 本稿では, LLMにおけるサイコフィナンシーの技術的調査を行い, その原因, 影響, 潜在的な緩和戦略について分析する。
  論文  参考訳（メタデータ） (2024-11-22T16:56:49Z)
• CATCH: Complementary Adaptive Token-level Contrastive Decoding to Mitigate Hallucinations in LVLMs [74.36850397755572]
  CATCHは、未解決のシナリオにおいて、きめ細かい特徴知覚と累積幻覚を減少させる視覚的欠陥に関連する問題に対処する。 これは、特定のデータや事前知識を必要とせず、様々な視覚的質問応答タスクに適用でき、追加のトレーニングを必要とせず、新しいタスクにしっかりと一般化する。
  論文  参考訳（メタデータ） (2024-11-19T18:27:31Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Have the VLMs Lost Confidence? A Study of Sycophancy in VLMs [44.56018149475948]
  梅毒症は視覚言語モデル(VLM)に重大な課題をもたらす幻覚である そこで我々は,シコファンシーを緩和するために,プロンプト,教師付き微調整,DPOに基づく訓練と手法を用いた合成データセットを提案する。 以上の結果から, モデル上層部では, 梅毒予防能力が顕著であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-15T05:48:14Z)
• Mitigating Hallucinations in Large Vision-Language Models (LVLMs) via Language-Contrastive Decoding (LCD) [13.430637580980164]
  Large Vision-Language Models (LVLM) は、画像入力とテキスト入力の両方の処理を容易にし、AI機能を拡張したLarge Language Models (LLM)の拡張である。 本研究では,LVLMの出力をLarge Language Models分布の信頼性レベルに基づいて調整するLanguage Contrastive Decoding (LCD)アルゴリズムを提案する。 本手法は,複雑な後処理や再学習を必要とせず,LVLMを効果的に改善し,異なるモデルに容易に適用できる。
  論文  参考訳（メタデータ） (2024-08-06T08:10:34Z)
• Self-Introspective Decoding: Alleviating Hallucinations for Large Vision-Language Models [30.26685485474035]
  LVLM(Large Vision-Language Models)は近年急速に進歩している。 幻覚問題として知られる問題は、重大なボトルネックとして浮上している。 自己検査復号法(Self-Introspective Decoding, SID)を提案する。
  論文  参考訳（メタデータ） (2024-08-04T13:50:17Z)
• CODE: Contrasting Self-generated Description to Combat Hallucination in Large Multi-modal Models [51.70129969269271]
  CODE(Countering Description Contrastive Decoding)という,新しいコントラストベースのデコーディング手法を提案する。 提案手法は幻覚を著しく低減し,様々なベンチマークや最先端のLMM間の相互整合性を改善する。
  論文  参考訳（メタデータ） (2024-06-04T03:04:21Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• IBD: Alleviating Hallucinations in Large Vision-Language Models via Image-Biased Decoding [37.16880672402059]
  言語的先行性への過度な依存は幻覚に繋がる重要な要因として認識されている。 本稿では,新しい画像バイアスデコーディング手法を導入することにより,この問題を軽減することを提案する。 提案手法は,従来のLVLMと画像バイアスLVLMの予測を対比することにより,次の確率分布を導出する。
  論文  参考訳（メタデータ） (2024-02-28T16:57:22Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。