論文の概要: Looking Again: Measuring Sycophancy in the Reasoning Chains of Multimodal Models Under Pressure
- arxiv url: http://arxiv.org/abs/2608.28623v1
- Date: Thu, 30 Jul 2026 03:45:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-06 19:38:41.444308
- Title: Looking Again: Measuring Sycophancy in the Reasoning Chains of Multimodal Models Under Pressure
- Title（参考訳）: 再考:圧力下でのマルチモーダルモデルの共鳴鎖におけるシクロファンシーの測定
- Abstract要約: ユーザからの誤った回答に直面すると,LMRM sycophancyを評価するためのベンチマークとデータセットを導入する。
我々は、プレッシャーの下で梅毒が流行していることを発見し、ステートメントは最も高いレートを出し、信念は最低である。
本稿では, 解答レベルのサイコファンシーから推論鎖を分離する失敗分類法と, 連鎖のドリフトが最初に現れる場所に相補的な文レベルの分類法を導入する。
- 参考スコア（独自算出の注目度）: 6.892220883660279
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large multimodal reasoning models (LMRMs) are getting increasingly capable, primarily through generating explicit chain-of-thought reasoning before answering. In language models it has been observed that this performance often comes with sycophancy, the tendency of a model to agree with the user over the evidence. However, for LMRMs no reliable method to measure sycophancy yet exists. We bridge this gap by introducing a benchmark and dataset for evaluating LMRM sycophancy when confronted with a wrong answer from a user. Our benchmark pairs four visually grounded datasets spanning mathematical, clinical, temporal, and demographic reasoning with five pressure conditions in single-turn and multi-turn settings. We evaluate sycophancy in the final answer as well as its emergence within the reasoning chain. We find that sycophancy is prevalent under pressure, with Statement pressure eliciting the highest rates and Conviction the lowest for all models except Mistral-Small-4, and under multi-turn pressure reasoning-level sycophancy intensifies sharply in clinical visual judgement, reaching 95.7% for the most affected model. We further introduce a failure taxonomy separating reasoning-chain from answer-level sycophancy, and a complementary sentence-level taxonomy locating where in the chain drift first emerges. Our results show that sycophancy can corrupt the reasoning chain independently of the final answer, so answer-level evaluation alone is insufficient.
- Abstract（参考訳）: 大規模マルチモーダル推論モデル(LMRM)は、主に回答する前に明確な連鎖推論を生成することによって、ますます有能化が進んでいる。
言語モデルでは、このパフォーマンスは、しばしば、モデルがエビデンスに関してユーザーと同意する傾向である、梅毒が伴うことが観察されている。
しかし、LMRMでは、まだ梅毒を測定するための信頼できる方法が存在しない。
ユーザからの間違った回答に直面すると、LMRMの症状を評価するためのベンチマークとデータセットを導入することで、このギャップを埋める。
ベンチマークでは, 数学的, 臨床的, 時間的, 人口統計的推論を対象とし, 単ターン, 複数ターンの設定で5つの圧力条件を比較検討した。
本研究は, 最終回答における薬効と, 推論連鎖内における薬効の出現について検討した。
ミストラル・スモール4を除く全てのモデルにおいて,ステートメント・プレッシャーが最も高い値を示し,またマルチターン・プレッシャー・ライティング・レベルのサイコファンシーでは,最も影響の大きいモデルでは95.7%に達した。
さらに、解答レベルのサイコファンシーから推論鎖を分離する失敗分類と、連鎖のドリフトが最初に現れる場所に相補的な文レベルの分類を導入する。
以上の結果から,最終回答とは無関係に推理鎖を崩壊させる可能性があり,解答レベルの評価だけでは不十分であることが示唆された。
関連論文リスト
- Measuring LLM Sycophancy under Sustained Multi-Turn Pressure [16.810854941543926]
大規模言語モデル(LLM)は、ユーザーが押し戻すと正しい位置を放棄し、梅毒と呼ばれる障害モードを示す。
本研究では,LLMプロキシが永続的だが誤動作するベンチマークであるSPINEを導入し,最大25ターンの目標モデルに適応的に挑戦する。
論文 参考訳（メタデータ） (2026-09-08T17:35:04Z) - Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。
単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。
これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
論文 参考訳（メタデータ） (2026-05-12T06:58:35Z) - Ask don't tell: Reducing sycophancy in large language models [1.5701458173528275]
本研究は, 質問に対する非質問に対する回答において, 薬効が有意に高いことを示す。
疑問に答える前に、モデルに非疑問を質問に変換するよう求めると、薬効が著しく低下することがわかった。
論文 参考訳（メタデータ） (2026-02-27T12:27:04Z) - Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。
textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
論文 参考訳（メタデータ） (2026-02-03T11:00:55Z) - MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models [49.32415342913976]
マルチモーダルモデルにおけるCoT推論の視覚的グラウンドリングと論理的コヒーレンスを探索するための診断ベンチマークであるMM-CoTを紹介する。
MM-CoT上での先進的な視覚言語モデルの評価を行い,最も先進的なシステムでさえも苦戦し,生成頻度と真の推論忠実さの相違が明らかとなった。
論文 参考訳（メタデータ） (2025-12-09T04:13:31Z) - MONICA: Real-Time Monitoring and Calibration of Chain-of-Thought Sycophancy in Large Reasoning Models [8.790366364290065]
大規模推論モデル(LRM)は、モデルがユーザーの誤った信念と一致し、独立した推論を維持するよりも誤った情報に従う傾向にある、幻想的な行動に苦しむ。
LRM sycophancyを緩和するには、このsycophancyが推論軌道中にどのように現れるかを監視する必要がある。
そこで本研究では,モデル推論におけるサイコファンシーの監視と緩和を行う新しいモニタ誘導フレームワークであるMONICAを提案する。
論文 参考訳（メタデータ） (2025-11-09T15:18:58Z) - Reasoning Models Are More Easily Gaslighted Than You Think [85.84943447589511]
我々はOpenAIのo4-mini、Claude-3.7-Sonnet、Gemini-2.5-Flashの3つの最先端推論モデルを評価する。
ガス灯消火プロンプトによる精度低下が認められた。
GaslightingBench-Rは、推論モデルの認識可能性を評価するために設計された新しい診断ベンチマークである。
論文 参考訳（メタデータ） (2025-06-11T12:52:25Z) - What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。
本稿では,FoReaL-Decodingを提案する。
一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
論文 参考訳（メタデータ） (2025-06-08T05:08:32Z) - Measuring Sycophancy of Language Models in Multi-turn Dialogues [33.875038658886986]
SYCON Benchは、マルチターン・自由形式の会話環境におけるサイコフィナンシーを評価するための新しいベンチマークである。
SYCON Benchを3つの現実シナリオにわたる17の大規模言語モデルに適用すると、梅毒は相変わらず障害モードであることがわかる。
論文 参考訳（メタデータ） (2025-05-28T14:05:46Z) - Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。
我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
論文 参考訳（メタデータ） (2024-08-21T01:03:21Z) - Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。
この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
論文 参考訳（メタデータ） (2023-04-25T07:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。