論文の概要: PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2512.19350v1
• Date: Mon, 22 Dec 2025 12:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.755808
• Title: PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models
• Title（参考訳）: PENDULUM: マルチモーダル大規模言語モデルにおける語彙評価ベンチマーク
• Authors: A. B. M. Ashikur Rahman, Saeed Anwar, Muhammad Usman, Irfan Ahmad, Ajmal Mian,
• Abstract要約: サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。 約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。 本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
• 参考スコア（独自算出の注目度）: 43.767942065379366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sycophancy, an excessive tendency of AI models to agree with user input at the expense of factual accuracy or in contradiction of visual evidence, poses a critical and underexplored challenge for multimodal large language models (MLLMs). While prior studies have examined this behavior in text-only settings of large language models, existing research on visual or multimodal counterparts remains limited in scope and depth of analysis. To address this gap, we introduce a comprehensive evaluation benchmark, \textit{PENDULUM}, comprising approximately 2,000 human-curated Visual Question Answering pairs specifically designed to elicit sycophantic responses. The benchmark spans six distinct image domains of varying complexity, enabling a systematic investigation of how image type and inherent challenges influence sycophantic tendencies. Through extensive evaluation of state-of-the-art MLLMs. we observe substantial variability in model robustness and a pronounced susceptibility to sycophantic and hallucinatory behavior. Furthermore, we propose novel metrics to quantify sycophancy in visual reasoning, offering deeper insights into its manifestations across different multimodal contexts. Our findings highlight the urgent need for developing sycophancy-resilient architectures and training strategies to enhance factual consistency and reliability in future MLLMs. Our proposed dataset with MLLMs response are available at https://github.com/ashikiut/pendulum/.
• Abstract（参考訳）: AIモデルの過度な傾向であるSycophancyは、事実の正確さや視覚的証拠の矛盾を犠牲にして、ユーザ入力に同意する傾向にある。 これまでの研究では、大きな言語モデルのテキストのみの設定で、この振る舞いを検証してきたが、既存の視覚的あるいはマルチモーダルなモデルに関する研究は、分析の範囲と深さに限られている。 このギャップに対処するために、我々は、サイコファン応答を誘発するように設計された約2000の人為的な視覚質問回答ペアからなる総合的な評価ベンチマーク「textit{PENDULUM}」を導入する。 このベンチマークは、複雑さの異なる6つの異なる画像領域にまたがっており、画像タイプと固有の課題が梅毒の傾向にどのように影響するかを体系的に調査することができる。 最先端MLLMの広範囲な評価を通して モデルの頑健さと サイコファンや幻覚に対する 顕著な感受性の変動を観察します さらに,視覚的推論における梅毒の定量化のための新しい指標を提案する。 本研究は,今後のMLLMにおける現実の整合性と信頼性を高めるため,薬効耐性アーキテクチャとトレーニング戦略の急激な開発の必要性を浮き彫りにした。 MLLMのレスポンスを備えたデータセットはhttps://github.com/ashikiut/pendulum/で公開しています。

関連論文リスト

• Beyond Spurious Signals: Debiasing Multimodal Large Language Models via Counterfactual Inference and Adaptive Expert Routing [10.66971486730557]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合する能力を示すが、しばしば素早い相関に頼っている。 本稿では,MLLMの表層相関バイアスに対する批判的課題を,新たな因果媒介に基づく脱バイアスフレームワークを通じて解決する。
  論文  参考訳（メタデータ） (2025-09-18T19:01:11Z)
• KnowDR-REC: A Benchmark for Referring Expression Comprehension with Real-World Knowledge [1.5833270109954136]
  本研究では,実世界の知識に基づいて構築されたKnowDR-RECを提案する。 我々は、KnowDR-REC上で16の最先端マルチモーダルモデルを評価し、既存のMLLMが知識駆動型視覚接地作業に苦戦していることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-08-12T19:43:44Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
  VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。 GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。 最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• GePBench: Evaluating Fundamental Geometric Perception for Multimodal Large Language Models [34.647839550142834]
  本稿では,MLLMの幾何学的知覚能力を評価するための新しいベンチマークであるGePBenchを紹介する。 評価の結果,現在最先端のMLLMは幾何学的知覚タスクに重大な欠陥があることが明らかとなった。 GePBenchデータを用いてトレーニングしたモデルは、幅広いベンチマークタスクにおいて大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2024-12-30T16:01:43Z)
• Sycophancy in Large Language Models: Causes and Mitigations [0.0]
  大規模言語モデル (LLM) は、幅広い自然言語処理タスクにおいて顕著な機能を示した。 シコファンの行動を示す傾向は、その信頼性と倫理的展開に重大なリスクをもたらす。 本稿では, LLMにおけるサイコフィナンシーの技術的調査を行い, その原因, 影響, 潜在的な緩和戦略について分析する。
  論文  参考訳（メタデータ） (2024-11-22T16:56:49Z)
• Cross-Modal Consistency in Multimodal Large Language Models [33.229271701817616]
  クロスモーダル一貫性という新しい概念を導入する。 実験結果から, GPT-4V内における視覚と言語モダリティの矛盾が明らかとなった。 我々の研究は、そのようなモデルの適切な利用に関する洞察と、その設計を強化するための潜在的な道のヒントを得る。
  論文  参考訳（メタデータ） (2024-11-14T08:22:42Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。