論文の概要: Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation
- arxiv url: http://arxiv.org/abs/2609.35036v1
- Date: Mon, 28 Sep 2026 12:34:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 17:38:07.207142
- Title: Persona Following Is Not Selective Control: The Neutrality Gap in LLM User Simulation
- Title(参考訳): パーソナ・フォローは選択的制御ではない: LLM ユーザ・シミュレーションにおける中立性ギャップ
- Abstract要約: 大規模言語モデルにおける選択制御の体系的失敗を同定する。
ターゲット属性を変更することで、特定されていない非ターゲット属性に対する応答もシフトする。
非ターゲット属性を未特定のまま残したり、指向性や中立性を宣言する3状態診断を運用する。
- 参考スコア(独自算出の注目度): 62.68603541512519
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Persona prompting is widely used to construct user simulations with large language models (LLMs), yet it relies on a largely untested assumption: specifying one user attribute should change that attribute alone. We test this assumption and identify a systematic failure of selective control: across all eight black-box LLMs we audit, changing a target attribute also shifts responses on unspecified, non-target attributes. For example, describing a user as more risk-seeking shifts color choices, even though the prompt never mentions color; we term this cross-attribute influence. Semantic, contextual, and internal analyses collectively suggest that models treat a persona prompt as evidence about the user and extend the inferred profile to unspecified preferences, a process we call trait-conditioned completion. We next ask whether explicitly specifying non-target attributes restores selective control. When a non-target attribute is assigned a clear direction, models generally follow the declaration and suppress the target attribute's influence. However, when the same attribute is declared neutral, the target continues to affect choices across all five open-weight checkpoints, even when the model correctly reports the declared state. This disparity, the neutrality gap, demonstrates that successful persona following does not imply selective persona control, which additionally requires keeping non-target attributes stable. We operationalize this distinction with a three-state diagnostic that leaves the non-target attribute unspecified or declares it directional or neutral; because directional tests can be passed by simply following the stated persona, the neutral state reveals failures they miss. In a post hoc analysis of independent items, neutral declarations leave 51-81% of items target-sensitive, against at most 1 of 320 item-pole comparisons under directional ones.
- Abstract(参考訳): ペルソナプロンプトは、大きな言語モデル(LLM)でユーザシミュレーションを構築するために広く使用されているが、ほとんどテストされていない仮定に依存している。
我々は、この仮定を検証し、選択制御の体系的な失敗を特定し、監査する8つのブラックボックス LLM すべてにまたがって、ターゲット属性を変更することで、特定されていない非ターゲット属性に対する応答もシフトする。
例えば、ユーザがよりリスクを求めるように説明すると、プロンプトが色に言及していないとしても、色選択が変わる。
意味的・文脈的・内部的な分析は、モデルがペルソナプロンプトをユーザに関する証拠として扱い、推論されたプロファイルを特定されていない好みに拡張することを示唆している。
次に、ターゲットでない属性を明示的に指定することが選択的制御を復元するかどうかを問う。
非ターゲット属性が明確な方向を割り当てられると、モデルは通常宣言に従い、ターゲット属性の影響を抑える。
しかし、同じ属性が中立であると宣言された場合、モデルが宣言された状態を正しく報告している場合でも、ターゲットは5つのオープンウェイトチェックポイントすべての選択に影響を与え続ける。
この格差、すなわち中立性ギャップは、成功しているペルソナが選択的なペルソナ制御を含まないことを示す。
我々は、この区別を、3状態の診断で運用し、非ターゲット属性を未特定のままにするか、方向性または中立であると宣言する。
独立品のポストホック分析では、中立宣言は51~81%のアイテムを目標に敏感にし、320項目のアイテム・ポール比較のうち少なくとも1つを指向に置いている。
関連論文リスト
- Recognition, Simulation, and Refusal: A Contamination-Aware Study of Classic Psychological Effects in LLM Agents [0.0]
LLMエージェント上での古典心理学実験を再実行するベンチマークであるPsyAgentBenchを紹介する。
41,904のトライアルがリリースされ、最大3つのオープンウェイトモデルファミリーで評価された5つの完成パラダイムのうち、明らかに人間のような効果は質的に異なる経路で生じる。
単文ペルソナの変更(確認可能性、検証された特性操作ではなく命令としてフレーム化)は、その効果によってこれらの効果を排除、減衰、あるいは反転させる。
論文 参考訳(メタデータ) (2026-07-23T10:34:06Z) - Debiasing Without Protected Attributes: Latent Concept Erasure from Textual Profiles [48.07449275130565]
NLPにおけるほとんどの公正性の研究は、性別、人種、国籍などの保護された属性に直接アクセスすることを前提としている。
センシティブな属性に直接アクセスすることなく、成功を損なうことができるのか?
本稿では,自己記述テキストを暗黙のデバイアス信号として用いて,ポストホックの概念と属性消去を行うH-SALを提案する。
論文 参考訳(メタデータ) (2026-06-10T13:49:27Z) - Superficial Beliefs in LLM Decision-Making [17.52079171010035]
我々は,大言語モデル (LLM) が2つの選択肢を選択する際に,単に理性を模倣するだけかどうかを問う。
私たちは、モデルが最も重要としている属性と、その選択を以前の決定に適合する振る舞いモデルで最もよく説明する属性を比較します。
我々はこれをLLM意思決定における「表面的信念の証拠」と解釈する。
論文 参考訳(メタデータ) (2026-06-09T15:54:35Z) - Human Label Variation as Stable Signal: Learning Annotator-Specific Explanation Behavior via Cross-Annotator Preference Optimization [51.93456979139756]
自由文の説明は、ラベルの不一致を超えて人間のラベルのバリエーションを拡大する。
このようなアノテータ固有のラベル説明動作を,大規模言語モデルで学習し,再現できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-05-27T17:55:00Z) - Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
モデル・オーガニゼーションのベンチマークであるPandoを紹介します。
Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。
説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
論文 参考訳(メタデータ) (2026-04-13T06:42:24Z) - Meanings and Feelings of Large Language Models: Observability of Latent States in Generative AI [65.04274914674771]
アメリカ心理学会(APA)によると、現在のLarge Language Models(LLM)は「フィーリング」ができない。
我々の分析は、モデルがユーザに見えない非自明な計算を実行できるようにする可能性のある設計に光を当てている。
論文 参考訳(メタデータ) (2024-05-22T23:18:58Z) - Counterfactual Reasoning for Bias Evaluation and Detection in a Fairness
under Unawareness setting [6.004889078682389]
現在のAI規制では、不公平な結果を防ぐために、アルゴリズムの意思決定プロセスで機密機能を破棄する必要がある。
本稿では、機密機能が破棄された場合でも継続可能な機械学習モデルの潜在的な隠れバイアスを明らかにする方法を提案する。
論文 参考訳(メタデータ) (2023-02-16T10:36:18Z) - AttriMeter: An Attribute-guided Metric Interpreter for Person
Re-Identification [100.3112429685558]
Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。
CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
論文 参考訳(メタデータ) (2021-03-02T03:37:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。