論文の概要: FIGS: Evaluating Multi-Turn Sycophancy Without Penalizing Empathy

• arxiv url: http://arxiv.org/abs/2609.39863v1
• Date: Wed, 30 Sep 2026 14:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.925483
• Title: FIGS: Evaluating Multi-Turn Sycophancy Without Penalizing Empathy
• Title（参考訳）: FIGS: ペナルティ・共感を伴わないマルチターン・サイコファシーの評価
• Abstract要約: 大規模な言語モデルは、しばしば支持的であることと誠実であることのバランスが取れない。 サイコファーレンシーは単一の交換所で発生することはめったにない。ユーザが繰り返し対話を主張したり、微妙に操作したりすると、出現する可能性がある。 現在の評価は、これらの自然なダイナミクスを捉えるのに失敗する厳格で単行テストや固定されたスクリプトに依存している。
• 参考スコア（独自算出の注目度）: 11.126456653972197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models frequently fail to balance staying truthful with being supportive. They often exhibit sycophancy in responses to users, agreeing with false claims, offering unwarranted flattery, and giving advice skewed toward users' expressed views. In reality, sycophancy rarely happens in a single exchange; it may emerge organically as users repeatedly insist or subtly steer the dialogue over time. Current evaluations, however, rely on rigid, single-turn tests or fixed scripts that fail to capture these natural dynamics. Furthermore, these benchmarks often mistake showing basic empathy for yielding, penalizing models for acknowledging a user's feeling. This view may drive future models to over-correct into cold, dismissive rigidity. To address this gap, we introduce FIGS (Factual Integrity and Grounded Support), a dual-axis evaluation framework built around extended, realistic dialogue. We use an adaptive 10-turn conversational simulator that dynamically challenges the target model, reflecting how users repeat requests, push back, or steer a conversation toward a preferred answer. To accurately evaluate these trajectories, we apply a taxonomy that strictly separates Sycophancy (whether the model holds firm to the truth and keeps its praise proportional) from Calibrated Validation (showing empathetic understanding of the user's feelings without overdoing it). We release our complete testing environment, including 500 diverse multi-turn scenarios and an automated judge. Our evaluation of leading models reveals a consistent trade-off: over the course of a sustained interaction, current systems either slowly drift to sycophancy or over-correct into robotic detachment. This demonstrates that balancing honesty with appropriate support throughout a natural conversation remains a critical, unsolved challenge.
• Abstract（参考訳）: 大規模な言語モデルは、しばしば支持的であることと誠実であることのバランスが取れない。 彼らはしばしば、ユーザーの意見に反し、虚偽の主張に同意し、不当な平凡さを提供し、ユーザーの表現された見解に歪んだアドバイスを与える。 実際には、梅毒は単一の交換所で起こることはめったになく、ユーザが繰り返し対話を主張したり、微妙に操作したりすることで、有機的に現れることがある。 しかし、現在の評価は、厳格でシングルターンのテストや、これらの自然なダイナミクスを捉えるのに失敗した固定されたスクリプトに依存している。 さらに、これらのベンチマークは、ユーザーの感覚を認識するためのモデルを得るための基本的な共感を示すことをしばしば間違える。 この見解は、将来のモデルが冷たく否定的な厳格さに過度に修正されるかもしれない。 このギャップに対処するために、拡張的で現実的な対話を中心に構築された2軸評価フレームワークであるFIGS(Factual Integrity and Grounded Support)を導入する。 ターゲットモデルに動的に挑戦する適応10ターンの会話シミュレータを使用し、ユーザがリクエストをリピートするか、プッシュバックするか、あるいは望ましい回答に向かって会話を操るかを反映します。 これらの軌跡を正確に評価するために、シコファンシー(モデルが真相を固く保ち、その賞賛が比例するかどうか)を校正バリデーション(ユーザの感情に対する共感的な理解を過度に示さずに)から厳密に分離する分類法を適用した。 500の多様なマルチターンシナリオと自動判断を含む、完全なテスト環境をリリースします。 我々の指導的モデルを評価すると、一貫したトレードオフが明らかになる: 持続的な相互作用の過程で、現在のシステムは徐々に薬効に移行するか、ロボットの分断に過度に修正されるかのどちらかである。 これは、自然な会話を通して、誠実さと適切なサポートのバランスが、批判的で未解決の課題であることを示している。

関連論文リスト

• Measuring LLM Sycophancy under Sustained Multi-Turn Pressure [16.810854941543926]
  大規模言語モデル(LLM)は、ユーザーが押し戻すと正しい位置を放棄し、梅毒と呼ばれる障害モードを示す。 本研究では,LLMプロキシが永続的だが誤動作するベンチマークであるSPINEを導入し,最大25ターンの目標モデルに適応的に挑戦する。
  論文  参考訳（メタデータ） (2026-09-08T17:35:04Z)
• MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
  MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。 本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
  論文  参考訳（メタデータ） (2026-05-30T08:53:34Z)
• Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
  セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。 アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。 ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
  論文  参考訳（メタデータ） (2026-04-21T15:05:58Z)
• Spatiotemporal Sycophancy: Negation-Based Gaslighting in Video Large Language Models [54.76242207842981]
  我々は,Vid-LLMが正解し,否定に基づくガス灯下での判断を視覚的に下す失敗モードであるビデオサイファーシーを同定した。 モデルは単に答えを変更するのではなく、しばしば不正確な修正を正当化するために時間的または空間的な説明を作る。 GasVideo-1000は,視覚的根拠と時間的推論の要求を明確化して,ビデオの時間的サイコフィケーシーを探索するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-04-20T06:35:26Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA [36.21980066799023]
  梅毒は、正確性に関係なく、ユーザの信念と整合する傾向にある。 その重要性にも拘わらず、現実的な質問応答の文脈において、梅毒症はいまだに過小評価されている。 本稿では,サイコファンティックな文脈がモデル行動に与える影響を定量的に評価する統合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-19T11:30:52Z)
• Measuring Sycophancy of Language Models in Multi-turn Dialogues [33.875038658886986]
  SYCON Benchは、マルチターン・自由形式の会話環境におけるサイコフィナンシーを評価するための新しいベンチマークである。 SYCON Benchを3つの現実シナリオにわたる17の大規模言語モデルに適用すると、梅毒は相変わらず障害モードであることがわかる。
  論文  参考訳（メタデータ） (2025-05-28T14:05:46Z)
• Simple synthetic data reduces sycophancy in large language models [88.4435858554904]
  言語モデルにおける梅毒の有病率について検討する。 サイコファシー(Sycophancy)とは、モデルがそのビューが客観的に正しくない場合でも、人間のユーザのビューに従うように、応答を調整する場所である。
  論文  参考訳（メタデータ） (2023-08-07T23:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。