論文の概要: SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

• arxiv url: http://arxiv.org/abs/2604.24346v1
• Date: Mon, 27 Apr 2026 11:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.925534
• Title: SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters
• Title（参考訳）: SycoPhantasy:ファンタシーキャラクタの視覚ランゲージスコーディングのための小型オープンウェイトVLMにおけるサイコファンシーと幻覚の定量化
• Abstract要約: 視覚言語モデル(VLM)は、微妙なイメージ理解を必要とするタスクにおいて評価器としてますます多くデプロイされている。 画像テキストアライメントの評価において, 小型でオープンウェイトなVLMが空想的行動を示すか否かを検討する。
• 参考スコア（独自算出の注目度）: 2.4851820343103035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are increasingly deployed as evaluators in tasks requiring nuanced image understanding, yet their reliability in scoring alignment between images and text descriptions remains underexplored. We investigate whether small, open-weight VLMs exhibit \emph{sycophantic} behavior when evaluating image-text alignment: assigning high scores without grounding their judgments in visual evidence. To quantify this phenomenon, we introduce the \emph{Bluffing Coefficient} (\bc), a metric that measures the mismatch between a model's score and its evidence recall. We evaluate six open-weight VLMs ranging from 450M to 8B parameters on a benchmark of 173,810 AI-generated character portraits paired with detailed textual descriptions. Our analysis reveals a significant inverse correlation between model size and sycophancy rate ($r = -0.96$, $p = 0.002$), with smaller models exhibiting substantially higher rates of unjustified high scores. The smallest model tested (LFM2-VL, 450M) produced sycophantic evaluations in 22.3\% of cases, compared to 6.0\% for the largest (LLaVA-1.6, 7B). These findings have direct implications for the deployment of small, open-weight VLMs as automated evaluators within attribute-rich, synthetic image evaluation tasks, where the gap between assigned scores and cited visual evidence is both measurable and consequential.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、微妙なイメージ理解を必要とするタスクにおいて、評価器としてますます多くデプロイされているが、画像とテキスト記述間のアライメントの信頼性は未定である。 画像テキストアライメントの評価において,視覚的エビデンスに判断を下さずに高いスコアを割り当てる場合, 小型でオープンウェイトなVLMが, 行動を示すかどうかを検討する。 この現象を定量化するために、モデルのスコアとエビデンスリコールのミスマッチを測定する計量である 'emph{Bluffing Coefficient} (\bc) を導入する。 450Mから8Bパラメータの6つのオープンウェイトVLMを,詳細なテキスト記述と組み合わせた173,810個のAI生成文字ポートレートのベンチマークで評価した。 解析の結果, モデルサイズとサイコフィナンシー率 (r = -0.96$, $p = 0.002$) の間に有意な逆相関が認められた。 試験された最小のモデル(LFM2-VL, 450M)は、22.3\%のケースでシコファン性の評価を行い、最大のケース(LLaVA-1.6, 7B)では6.0\%であった。 これらの知見は, 与えられたスコアと引用された視覚的エビデンスとのギャップが測定可能かつ連続的であるような, 属性に富んだ合成画像評価タスクにおいて, 自動評価器として, 小型でオープンウェイトなVLMの展開に直接的な意味を持つ。

関連論文リスト

• Seeing Isn't Believing: Uncovering Blind Spots in Evaluator Vision-Language Models [18.001586760420484]
  I2TタスクとT2Iタスクの両方で評価器VLMの信頼性を体系的に評価する。 我々は,物体の幻覚,空間的推論,事実的接地,視覚的忠実度など,重要な誤り次元に沿って出力品質を低下させる摂動を導入する。
  論文  参考訳（メタデータ） (2026-04-23T10:36:50Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• VHELM: A Holistic Evaluation of Vision Language Models [75.88987277686914]
  視覚言語モデル(VHELM)の全体的評価について述べる。 VHELMは、視覚的知覚、知識、推論、バイアス、公平性、多言語性、堅牢性、毒性、安全性の9つの側面の1つ以上をカバーするために、さまざまなデータセットを集約する。 私たちのフレームワークは軽量で自動で、評価の実行が安価で高速に行えるように設計されています。
  論文  参考訳（メタデータ） (2024-10-09T17:46:34Z)
• MM-Vet v2: A Challenging Benchmark to Evaluate Large Multimodal Models for Integrated Capabilities [146.4724093405187]
  MM-Vet v2は、"image-text sequence understanding"と呼ばれる新しい"image-text sequence understanding"機能を含んでいる。 MM-Vet v2を用いて大規模マルチモーダルモデルのベンチマークを行った結果,Claude 3.5 Sonnetはスコア71.8の最良のモデルであり,スコア71.0のGPT-4oより若干優れていた。
  論文  参考訳（メタデータ） (2024-08-01T17:59:54Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。