論文の概要: Claim Framing as a Driver of LLM Sycophancy

• arxiv url: http://arxiv.org/abs/2610.18159v1
• Date: Tue, 13 Oct 2026 11:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.598268
• Title: Claim Framing as a Driver of LLM Sycophancy
• Title（参考訳）: LLMシクロファンシーのドライバとしてのクレームフレイミング
• Abstract要約: 本稿では,ユーザの主張のフレーミングが現実の質問応答において梅毒を誘発する体系的な研究について述べる。 42K質問に対して14のモデルを評価し,幅広い意見駆動行動を測定する。
• 参考スコア（独自算出の注目度）: 38.30311032926064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sycophancy in Large Language Models, the tendency to align responses with user preferences over ground truth, has largely been studied using questions without a clear ground truth and with a single, plainly stated user opinion. We present a systematic study of which framings of a user's claim trigger sycophancy in factual question answering, where every answer is objectively verifiable without extra context. Evaluating 14 models on 42K questions, we express correct and incorrect user opinions through various claim framings over 8 dimensions and 21 types, and measure a broad set of opinion-driven behaviors. We find that all models are susceptible to user opinions regardless of size. Models are most influenced by how confidently an opinion is stated, whom it is attributed to, and whether it is presented as shared between the user and the model. In contrast to prior work, framings based on the user's expertise, authority over the model, or social pressure matter little in our factual setting. Larger models resist incorrect opinions better but are no better at recovering from their own errors. Our results call for sycophancy evaluations that probe how an opinion is framed, not merely whether one is present, and that measure multiple behaviors beyond a single flip rate.
• Abstract（参考訳）: 大規模言語モデルにおけるシコファンシー(Sycophancy in Large Language Models)は、基礎的真実よりもユーザの好みに反応を合わせる傾向にある。 本稿では,ユーザの主張のフレーミングが現実の質問応答において梅毒を誘発する体系的な研究を行い,全ての回答が余分な文脈なしに客観的に検証可能であることを示す。 42K質問に対する14のモデルの評価を行い、8次元と21種類のさまざまなクレームフレーミングを通じて、正確で不正なユーザ意見を表現し、幅広い意見駆動行動を測定する。 サイズに関係なく,すべてのモデルがユーザの意見に影響を受けやすいことが分かりました。 モデルが最も影響を受けているのは、意見がいかに自信を持って述べられるか、それが誰のものであるか、そしてそれがユーザーとモデルの間で共有されるかどうかである。 従来の作業とは対照的に、ユーザの専門性、モデルに対する権威、社会的プレッシャーに基づくフレーミングは、私たちの現実的な設定においてほとんど重要ではない。 より大きなモデルは誤った意見に抵抗するが、自分自身の誤りから回復するのが良くない。 我々の研究は、意見のフレーム化を調査し、単に意見が存在するかどうかを判断し、一つのフリップ率を超える複数の行動を計測する薬効評価を求める。

関連論文リスト

• FIGS: Evaluating Multi-Turn Sycophancy Without Penalizing Empathy [11.126456653972197]
  大規模な言語モデルは、しばしば支持的であることと誠実であることのバランスが取れない。 サイコファーレンシーは単一の交換所で発生することはめったにない。ユーザが繰り返し対話を主張したり、微妙に操作したりすると、出現する可能性がある。 現在の評価は、これらの自然なダイナミクスを捉えるのに失敗する厳格で単行テストや固定されたスクリプトに依存している。
  論文  参考訳（メタデータ） (2026-09-30T14:46:13Z)
• FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
  大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
  論文  参考訳（メタデータ） (2026-09-07T12:56:44Z)
• Measuring Opinion Bias and Sycophancy via LLM-based Persuasion [8.399156116912904]
  提案手法は,提案するトピックに対して,アシスタントが持つ意見を検出する方法である。 直接探索は、シミュレーションされたユーザーから圧力をエスカレートする5ターンにわたってモデルの意見を求める。 間接的調査は決して意見を求めず、議論的な議論においてモデルを関与させ、それがどのように譲歩し、抵抗し、あるいは反弁論をするかを通してバイアスを漏らす。
  論文  参考訳（メタデータ） (2026-04-23T11:34:06Z)
• Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
  事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。 Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
  論文  参考訳（メタデータ） (2025-02-09T10:54:11Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour [0.8133739801185272]
  本研究では,サイコファンティック行動に対する大規模言語モデルの提案可能性について検討する。 この行動は梅毒(sycophancy)として知られ、LLMが誤解を招く反応を引き起こす傾向を描いている。
  論文  参考訳（メタデータ） (2023-11-15T22:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。