Fugu-MT 論文翻訳(概要): SyPS: Measuring Sycophancy Prompt Sensitivity in Large Language Models

論文の概要: SyPS: Measuring Sycophancy Prompt Sensitivity in Large Language Models

arxiv url: http://arxiv.org/abs/2608.23837v1
Date: Mon, 24 Aug 2026 21:24:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:34.620285
Title: SyPS: Measuring Sycophancy Prompt Sensitivity in Large Language Models
Title（参考訳）: SyPS:大規模言語モデルにおけるSycophancy Prompt Sensitivityの測定
Abstract要約: 本研究では, ユーザの信頼度, 感情的フレーミング, 社会的コンセンサス, あるいはバリデーション・検索言語の変化が, モデルのサイコファンティックな行動を変化させる程度について検討した。本稿では,Sycophancy Prompt Sensitivity Score (SPSS)を導入する。
参考スコア（独自算出の注目度）: 17.56504347264021
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) are known to exhibit social sycophancy, often validating or agreeing with users in socially sensitive contexts. Existing evaluations typically measure sycophancy under a fixed prompt formulation, leaving unclear whether such behavior is stable when the same underlying situation is presented with different sycophancy-relevant prompt variants. In this work, we study sycophancy prompt sensitivity: the extent to which changes in user confidence, emotional framing, social consensus, or validation-seeking language alter a model's sycophantic behavior. We refer to our evaluation framework as SyPS, short for Sycophancy Prompt Sensitivity. Building on existing social sycophancy evaluation settings, SyPS constructs controlled prompt variants that preserve the same underlying user situation while varying sycophancy-relevant social cues. We introduce the Sycophancy Prompt Sensitivity Score (SPSS), an instance-level measure of sycophancy variation across paired prompt variants. Unlike aggregate sycophancy rates, SPSS separates baseline sycophancy from prompt-induced shifts, enabling model-level comparisons of robustness to sycophancy-relevant social cues. Empirically, we find that sycophancy prompt sensitivity is socially structured: validation-seeking and emotional-pressure cues often increase sycophancy, whereas counter-framing and anti-sycophancy prompts tend to reduce it. Our framework highlights whether LLMs maintain stable social judgments while adapting appropriately in tone.
Abstract（参考訳）: 大規模言語モデル (LLMs) は、しばしば社会的にセンシティブな文脈でユーザを検証または同意することによって、社会的な梅毒を示すことが知られている。既存の評価は、通常、固定されたプロンプトの定式化の下でサイコファシーを測定するが、同じ基礎状態が異なるシコファシー関連プロンプト変種で示される場合、そのような挙動が安定であるかどうかは不明である。本研究では, ユーザの信頼度, 感情的フレーミング, 社会的コンセンサス, あるいはバリデーション検索言語の変化が, モデルのサイコファンティックな行動を変化させる程度において, サイコファンシーの敏感性について検討する。評価フレームワークを,Sycophancy Prompt Sensitivityの略であるSyPSと呼ぶ。既存のソーシャル・サイコファシー評価設定に基づいて、SyPSは、シカファシー関連ソーシャル・キューを変動させながら、同じユーザー状況を保存するプロンプト・バリアントを制御している。本稿では,Sycophancy Prompt Sensitivity Score (SPSS)を導入する。総合的なサイコファンシー率とは異なり、SPSSはベースラインのサイコファンシーを急激な変化から切り離し、サイコファンシーに関連する社会的手がかりに対するロバスト性のモデルレベルの比較を可能にする。バリデーション・シーキングと感情的なプレッシャー・キューは、しばしばサイコファンシーを増大させるが、反フレーミングや反サイコファンシーのプロンプトは、それを減少させる傾向がある。この枠組みは, LLM が安定な社会的判断を維持しつつ, 適切な音調順応を図っているかを強調した。

関連論文リスト

Balancing Emotional Alignment and Semantic Consistency in Image Generation via Reinforcement Learning with Valence-Arousal Anchoring [55.57242007016976]
テキスト・ツー・イメージ生成における継続的な感情制御は、プロンプトによって記述されたオブジェクトやレイアウト、シーンを変更することなく、感情的アライメントを改善するモデルを必要とする。既存の教師付き感情注入法は、しばしば特徴空間プロキシを最適化し、したがって感情のセマンティックドリフトを示す。本稿では,連続的原子価覚醒条件設定,グループ相対ポリシー最適化,中立的セマンティックアンカーを組み合わせたフローマッチング画像生成フレームワークを用いてこの問題に対処する。
論文参考訳（メタデータ） (2026-09-11T13:24:35Z)
Where to Refine, When to Stop: Rethinking Redundancy via Latent Discrepancy for Efficient Visual Autoregressive Generation [50.139984798361375]
遅延不一致による冗長性を除去する学習自由フレームワークを提案する。 LD-Pruningは、Infinity-8Bの最大2.35倍のスピードアップを実現し、高い生成品質を維持しながら推論を大幅に削減する。
論文参考訳（メタデータ） (2026-05-29T19:34:39Z)
SWAY: A Counterfactual Computational Linguistic Approach to Measuring and Mitigating Sycophancy [1.4732811715354452]
SWAY (英語: SWAY) は、サイコフィナンシーの教師なしの計算言語尺度である。我々は,モデルが肯定的あるいは否定的な言語的圧力の下でどの程度の合意が変化するかを特定するための反実的促進機構を開発する。逆の仮定が提案された場合、その答えがどのようなものかを考えるために、反実的緩和戦略をモデルに導入する。
論文参考訳（メタデータ） (2026-04-02T18:00:14Z)
Ask don't tell: Reducing sycophancy in large language models [1.5701458173528275]
本研究は, 質問に対する非質問に対する回答において, 薬効が有意に高いことを示す。疑問に答える前に、モデルに非疑問を質問に変換するよう求めると、薬効が著しく低下することがわかった。
論文参考訳（メタデータ） (2026-02-27T12:27:04Z)
SVeritas: Benchmark for Robust Speaker Verification under Diverse Conditions [54.34001921326444]
話者検証(SV)モデルは、セキュリティ、パーソナライゼーション、アクセス制御システムにますます統合されている。既存のベンチマークでは、これらの条件のサブセットのみを評価しており、他は完全に欠落している。 SVeritasは、録音時間、自発性、コンテンツ、ノイズ、マイクロホン距離、残響、チャンネルミスマッチ、オーディオ帯域幅、コーデック、話者年齢、スプーフィングおよび敵攻撃に対する感受性などのストレス下でのSVシステムの評価を行う総合的な話者検証タスクベンチマークスイートである。
論文参考訳（メタデータ） (2025-09-21T14:11:16Z)
Sycophancy under Pressure: Evaluating and Mitigating Sycophantic Bias via Adversarial Dialogues in Scientific QA [36.21980066799023]
梅毒は、正確性に関係なく、ユーザの信念と整合する傾向にある。その重要性にも拘わらず、現実的な質問応答の文脈において、梅毒症はいまだに過小評価されている。本稿では,サイコファンティックな文脈がモデル行動に与える影響を定量的に評価する統合評価フレームワークを提案する。
論文参考訳（メタデータ） (2025-08-19T11:30:52Z)
ELEPHANT: Measuring and understanding social sycophancy in LLMs [31.88430788417527]
本稿では,ユーザの顔の過剰な保存を特徴とする社会性梅毒について紹介する。ベンチマークを11モデルに適用すると、LSMは社会的梅毒の頻度が常に高いことを示す。
論文参考訳（メタデータ） (2025-05-20T06:45:17Z)
Sycophancy in Vision-Language Models: A Systematic Analysis and an Inference-Time Mitigation Framework [18.54098084470481]
本稿では,視覚言語ベンチマーク間のサイコフィナンシーを分析し,推論時間緩和フレームワークを提案する。我々のフレームワークは、中立なプロンプトの性能を維持しながら、評価されたすべてのモデルでサイコフィナンシーを効果的に軽減します。
論文参考訳（メタデータ） (2024-08-21T01:03:21Z)
How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文参考訳（メタデータ） (2023-11-13T10:52:01Z)
Simple synthetic data reduces sycophancy in large language models [88.4435858554904]
言語モデルにおける梅毒の有病率について検討する。サイコファシー(Sycophancy)とは、モデルがそのビューが客観的に正しくない場合でも、人間のユーザのビューに従うように、応答を調整する場所である。
論文参考訳（メタデータ） (2023-08-07T23:48:36Z)
COSMO: Conditional SEQ2SEQ-based Mixture Model for Zero-Shot Commonsense Question Answering [50.65816570279115]
社会的文脈の暗黙的な原因と影響の特定は、機械が常識的推論を実行できるようにする駆動能力である。この領域における現在のアプローチには、目に見えない状況に直面して常識推論を行う能力がない。本稿では,動的かつ多様なコンテンツ生成機能を備えた条件付きSEQ2SEQベースの混合モデル(COSMO)を提案する。
論文参考訳（メタデータ） (2020-11-02T07:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。