論文の概要: Pointing to a Llama and Call it a Camel: On the Sycophancy of Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2509.16149v1
• Date: Fri, 19 Sep 2025 16:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.248782
• Title: Pointing to a Llama and Call it a Camel: On the Sycophancy of Multimodal Large Language Models
• Title（参考訳）: Llamaを指してそれをCamelと呼ぶ:マルチモーダル大言語モデルの同期性について
• Authors: Renjie Pi, Kehao Miao, Li Peihang, Runtao Liu, Jiahui Gao, Jipeng Zhang, Xiaofang Zhou,
• Abstract要約: マルチモーダル大言語モデル (MLLM) は視覚的シコファン的行動の顕著な形態を示す。 同様の振る舞いは、テキストベースの大規模言語モデル(LLM)でも言及されている。 本稿では,Sycophantic Reflective Tuning(SRT)を提案する。
• 参考スコア（独自算出の注目度）: 43.24601020832852
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated extraordinary capabilities in conducting conversations based on image inputs. However, we observe that MLLMs exhibit a pronounced form of visual sycophantic behavior. While similar behavior has also been noted in text-based large language models (LLMs), it becomes significantly more prominent when MLLMs process image inputs. We refer to this phenomenon as the "sycophantic modality gap." To better understand this issue, we further analyze the factors that contribute to the exacerbation of this gap. To mitigate the visual sycophantic behavior, we first experiment with naive supervised fine-tuning to help the MLLM resist misleading instructions from the user. However, we find that this approach also makes the MLLM overly resistant to corrective instructions (i.e., stubborn even if it is wrong). To alleviate this trade-off, we propose Sycophantic Reflective Tuning (SRT), which enables the MLLM to engage in reflective reasoning, allowing it to determine whether a user's instruction is misleading or corrective before drawing a conclusion. After applying SRT, we observe a significant reduction in sycophantic behavior toward misleading instructions, without resulting in excessive stubbornness when receiving corrective instructions.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) は画像入力に基づく対話を行う際, 異常な能力を示した。 しかし,MLLMは視覚的シコファン性行動の顕著な形態を示すことが観察された。 テキストベースの大規模言語モデル(LLM)でも同様の振る舞いが指摘されているが、MLLMが画像入力を処理すると顕著に顕著になる。 この現象を「空想的モダリティギャップ」と呼ぶ。 この問題をより深く理解するために、このギャップの悪化に寄与する要因をさらに分析する。 視覚的シコファンの行動を緩和するため,まず,教師付き微調整を用いて,MLLMがユーザからの誤解を招く指示に抵抗するのを助ける実験を行った。 しかし、このアプローチは、MLLMが修正命令(例えば、間違っていてもスタブボーン)に対して過度に耐性を持つこともわかりました。 このトレードオフを緩和するために、MLLMが反射的推論を行うことができるSycophantic Reflective Tuning (SRT)を提案する。 SRTを適用した後、誤誘導命令に対するシコファン性行動の顕著な低下を観察したが、修正指示を受けると過度な頑健さが生じることはなかった。

関連論文リスト

• Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization [55.543583937522804]
  MLLM(Multimodal Large Language Models)は、様々なタスクに対処するための統一インターフェースとして登場した。 多くのベンチマークで最先端の結果が誇示されているにもかかわらず、長年の問題はMLLMが幻覚を起こす傾向にある。 本稿では,幻覚の問題をアライメント問題として取り上げ,幻覚を伴わないコンテンツを生成するためのMLLMのステアリングを試みる。
  論文  参考訳（メタデータ） (2025-08-27T18:02:04Z)
• Token Activation Map to Visually Explain Multimodal LLMs [23.774995444587667]
  本稿では,文脈の干渉を軽減し,高品質なMLLM記述を実現するための因果推論手法を提案する。 本稿では,トークン間の相互作用を考慮に入れたToken Activation Map (TAM) と呼ぶ。 我々のTAM法は既存のSoTA法を著しく上回り、高品質な可視化結果を示す。
  論文  参考訳（メタデータ） (2025-06-29T14:50:45Z)
• MLLM can see? Dynamic Correction Decoding for Hallucination Mitigation [50.73561815838431]
  MLLM(Multimodal Large Language Models)はしばしば幻覚現象を示す。 実験により,MLLMは最終出力のオブジェクトを誤って生成するが,前層の視覚的オブジェクトを認識できることがわかった。 そこで本研究では,MLLMs DeCoの動的補正復号法を提案する。この手法は,適切な先行層を適応的に選択し,最終層に知識を比例的に統合し,出力ロジットを調整する。
  論文  参考訳（メタデータ） (2024-10-15T16:57:44Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• The Instinctive Bias: Spurious Images lead to Illusion in MLLMs [34.91795817316696]
  MLLMは、非常に関連性が高いが、応答に矛盾する画像で構成されている。 本稿では,スプリアス画像の視覚錯視レベルを評価する最初のベンチマークである相関QAを提案する。 我々は9つの主流MLLMについて徹底的な分析を行い、これらの本能バイアスが様々な程度に普遍的に悩まされていることを指摘した。
  論文  参考訳（メタデータ） (2024-02-06T06:48:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。