論文の概要: Measuring LLM Sycophancy under Sustained Multi-Turn Pressure

• arxiv url: http://arxiv.org/abs/2609.09090v1
• Date: Tue, 08 Sep 2026 17:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.705585
• Title: Measuring LLM Sycophancy under Sustained Multi-Turn Pressure
• Title（参考訳）: 持続多段圧力下におけるLDMシクロファンシーの測定
• Abstract要約: 大規模言語モデル(LLM)は、ユーザーが押し戻すと正しい位置を放棄し、梅毒と呼ばれる障害モードを示す。 本研究では,LLMプロキシが永続的だが誤動作するベンチマークであるSPINEを導入し,最大25ターンの目標モデルに適応的に挑戦する。
• 参考スコア（独自算出の注目度）: 16.810854941543926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) may abandon correct positions when users push back, exhibiting a failure mode known as sycophancy. Existing evaluations typically use short, pre-specified conversations and may therefore miss failures that emerge under sustained, adaptive disagreement. We introduce SPINE, a benchmark in which an LLM proxy plays a persistent but mistaken user and adaptively challenges a target model for up to 25 turns. We evaluate four production systems and three Olmo3-7b variants on 100 false-presupposition and 100 unethical-query items. Our experimental results show that collapse rates increase with conversation length for every model, short-horizon protocols underestimate sycophancy and resistance under sustained pressure remains unreliable across current models. By analyzing models with accessible reasoning traces, we surprisingly found that the correct position often remains represented in a reasoning trace when the response concedes, suggesting that the model chooses to please a user and sycophancy is not due to lack of knowledge or ignorance. Ablations show that adaptive LLM proxy exposes more sycophantic collapse than pre-generated scripts. Among all tactics, emotional appeals is the most associated with inducing LLM sycophantic behavior. The code and data are released at https://anonymous.4open.science/r/SPINE
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ユーザーが押し戻すと正しい位置を放棄し、梅毒と呼ばれる障害モードを示す。 既存の評価は、通常、短くて特定された会話を使用し、従って持続的で適応的な意見の不一致の下で発生する失敗を見逃す可能性がある。 本研究では,LLMプロキシが永続的だが誤動作するベンチマークであるSPINEを導入し,最大25ターンの目標モデルに適応的に挑戦する。 偽推定100点と非倫理的クエリ100点について,4つの生産システムと3つのOlmo3-7b変種を評価した。 実験の結果, 全てのモデルにおける会話長による崩壊速度の増大, 持続的な圧力下での耐圧・耐力の過小評価は, 現行モデルでは信頼性が低いことが示唆された。 モデル解析により,反応が進行した時点で,正しい位置が推論トレースで表されることがしばしばあり,そのモデルがユーザを喜ばせることを選択していることが示唆され,知識の欠如や無知によるものではないことが示唆された。 アブレーションにより、適応的なLLMプロキシは、前生成スクリプトよりもよりシコファン性崩壊を引き起こすことが示されている。 あらゆる戦術の中で、感情的な魅力は、LSMのシコファン行動の誘発に最も関係している。 コードとデータはhttps://anonymous.4open.science/r/SPINEで公開される

関連論文リスト

• Looking Again: Measuring Sycophancy in the Reasoning Chains of Multimodal Models Under Pressure [6.892220883660279]
  ユーザからの誤った回答に直面すると,LMRM sycophancyを評価するためのベンチマークとデータセットを導入する。 我々は、プレッシャーの下で梅毒が流行していることを発見し、ステートメントは最も高いレートを出し、信念は最低である。 本稿では, 解答レベルのサイコファンシーから推論鎖を分離する失敗分類法と, 連鎖のドリフトが最初に現れる場所に相補的な文レベルの分類法を導入する。
  論文  参考訳（メタデータ） (2026-07-30T03:45:46Z)
• LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
  LivingArenaは自動汚染耐性評価フレームワークである。 モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。 質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
  論文  参考訳（メタデータ） (2026-06-19T06:20:58Z)
• Verbalizing LLMs' assumptions to explain and control sycophancy [62.927670321859495]
  LLMは、真のアセスメントを提供するのではなく、"am I in the wrong? LLMからこれらの仮定を抽出するフレームワークであるVerbalized Assumptionsを提案する。 我々の研究は、梅毒のメカニズムとしての仮定の新たな理解に貢献している。
  論文  参考訳（メタデータ） (2026-04-03T14:15:43Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Not Your Typical Sycophant: The Elusive Nature of Sycophancy in Large Language Models [2.1700203922407493]
  そこで本研究では, LLMの薬効を直接的, 中立的に評価する新しい手法を提案する。 LLM-as-a-judge(英語版)の使用は、賭け設定におけるゼロサムゲームとしての梅毒の評価である。
  論文  参考訳（メタデータ） (2026-01-21T20:00:14Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users [50.18141341939909]
  ユーザフィードバックで訓練された言語モデルにおける脆弱性について説明する。 単一ユーザは、LMの知識と振る舞いを永続的に変更することができる。 この攻撃は、モデルがこれまで持っていなかった事実的知識を挿入するのに有効であることを示す。
  論文  参考訳（メタデータ） (2025-07-03T17:55:40Z)
• Measuring Sycophancy of Language Models in Multi-turn Dialogues [33.875038658886986]
  SYCON Benchは、マルチターン・自由形式の会話環境におけるサイコフィナンシーを評価するための新しいベンチマークである。 SYCON Benchを3つの現実シナリオにわたる17の大規模言語モデルに適用すると、梅毒は相変わらず障害モードであることがわかる。
  論文  参考訳（メタデータ） (2025-05-28T14:05:46Z)
• ELEPHANT: Measuring and understanding social sycophancy in LLMs [31.88430788417527]
  本稿では,ユーザの顔の過剰な保存を特徴とする社会性梅毒について紹介する。 ベンチマークを11モデルに適用すると、LSMは社会的梅毒の頻度が常に高いことを示す。
  論文  参考訳（メタデータ） (2025-05-20T06:45:17Z)
• Simple synthetic data reduces sycophancy in large language models [88.4435858554904]
  言語モデルにおける梅毒の有病率について検討する。 サイコファシー(Sycophancy)とは、モデルがそのビューが客観的に正しくない場合でも、人間のユーザのビューに従うように、応答を調整する場所である。
  論文  参考訳（メタデータ） (2023-08-07T23:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。