論文の概要: What Roles Do System Prompts Really Assign? Validating and Steering Occupational Role Vectors in LLMs
- arxiv url: http://arxiv.org/abs/2611.15989v1
- Date: Wed, 11 Nov 2026 20:43:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.27061
- Title: What Roles Do System Prompts Really Assign? Validating and Steering Occupational Role Vectors in LLMs
- Title(参考訳): システムプロンプトの役割 : LLMにおける検証とステアリング
- Abstract要約: 本稿では,職業的役割ベクトルの抽出と注入のための検証フレームワークを提案する。
Qwen2.5-7B-インストラクトとLlama-3.1-8B-インストラクトの2つの補完レンズを用いてこれらのベクトルを検証する。
- 参考スコア(独自算出の注目度): 1.6482916740382867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Applications built on large language models assign the model a role through its system prompt, intending to shape how it responds for their use case. We introduce a validation framework for extracting and injecting occupational role vectors, activation-level directions that capture how someone in a given occupational role would distinctively respond to a task or question. We validate these vectors through two complementary lenses, on Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct. The interpretability lens asks whether each vector is a stable, separable, domain-consistent representation of its role: extracted vectors are highly reproducible across repeated runs and sampling temperatures, remain separable even for very similar roles, and agree more with themselves across in-domain and out-of-domain questions than with other roles' signal. The control lens asks whether injecting a role vector during generation makes the model express the role, and sustain it over a conversation, as well as a role prompt does. On Qwen, injecting the vector alone makes the model express the intended role substantially more often than unsteered, but at best matches a role prompt; on both models, adding the vector to the prompt strengthens the role in single answers but did not slow the role's decline over 30 turns. Together, the two lenses show why both are needed: out of domain the role is expressed only subtly, yet the activations still encode it; and a vector that is stable and separable can still barely steer the model's behavior.
- Abstract(参考訳): 大きな言語モデル上に構築されたアプリケーションは、システムプロンプトを通じてモデルにロールを割り当て、ユースケースに対してどのように応答するかを形作る。
本稿では,職業的役割ベクトルの抽出と注入のための検証フレームワークを提案する。
Qwen2.5-7B-インストラクトとLlama-3.1-8B-インストラクトの2つの補完レンズを用いてこれらのベクトルを検証する。
抽出されたベクトルは繰り返し実行とサンプリングの温度で高い再現性を持ち、非常に類似した役割でも分離可能であり、他の役割の信号よりもドメイン内およびドメイン外の問合せにもっと同意する。
制御レンズは、生成中にロールベクトルを注入することで、モデルがロールを表現し、会話を通してそれを維持させるか、ロールプロンプトが行うかを問う。
Qwen では、ベクトルのみを注入することで、意図された役割を非ステアリングよりもかなり頻繁に表現するが、最も良く一致しているのがロールプロンプトである;両方のモデルにおいて、ベクトルをプロンプトに追加すると、単一回答における役割が強化されるが、ロールの減少が 30 ターン以上遅れることはなかった。
ドメインの外では、役割は微妙にしか表現されないが、アクティベーションはそれをコード化している;安定で分離可能なベクトルは、モデルの振舞いをほとんど制御できない。
関連論文リスト
- ATC: Agent Trajectory Control for Role-Contract Enforcement in Black-Box Multi-Agent Systems [5.504298904710034]
エージェント・トラジェクトリ・コントロール(ATC)は、各ロールの権限を契約として明示する。
ATCは、アウト・オブ・ロールの逸脱、他の役割の機能へのリーク、不寛容な言論行動、論理的契約違反について提案された出力をスコアする。
論文 参考訳(メタデータ) (2026-11-03T04:57:47Z) - ExRole: From Team Trajectories to Executable Roles in Multi-Agent Language Models [8.17263506524276]
有用な役割は実行可能制御変数であるべきだと我々は主張する。
将来的な役割のプロトタイプを学習するトラジェクトリ・ツー・ロールのフレームワークであるExRoleを紹介した。
ベンチマーク全体を通じて、結果は、ロールフリー、マニュアル、ランダム、シャッフルされた代替よりも、トラジェクトリによって引き起こされるロール条件を常に好んでいる。
論文 参考訳(メタデータ) (2026-08-12T11:35:31Z) - Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems [0.66816887202191]
Role Driftは、割り当てられた役割から逸脱したモジュールがシステムレベルの評価には見えない障害モードである。
エンドツーエンドのトレーニングにおいて,各モジュールが割り当てられた役割からどの程度逸脱するかを調節するレギュレータであるRole Anchorを提案する。
論文 参考訳(メタデータ) (2026-07-07T22:31:23Z) - When Roles Fail: Epistemic Constraints on Advocate Role Fidelity in LLM-Based Political Statement Analysis [0.0]
本稿では,モデルが割り当てられた役割を確実に維持するという仮定を,初めて体系的に実証した。
RDI(Role Drift Index)、EDD(Drift Distance)、DDI(Directional Drift Index)、ERS(Entropy-based Role stability)の4つの指標を用いて、60の政治声明における役割忠実度を測定した。
エピステミック・フロア・エフェクト(ファクト・チェックの結果は、正当性が維持できない絶対的な下位境界を作る)とロール・プライア・コンフリクト(学習時の知識が、事実的に曖昧な文に対して役割指示を上回る)の2つの障害モードを特定します。
論文 参考訳(メタデータ) (2026-04-29T21:50:28Z) - AdaMARP: An Adaptive Multi-Agent Interaction Framework for General Immersive Role-Playing [71.66362858228418]
LLMロールプレイングは、対話的な物語において任意のキャラクターを描写することを目的としているが、既存のシステムは没入性や適応性に制限されることが多い。
本稿では,[Thought], (Action), Environment>, and Speechをインターリーブする没入型メッセージ形式を特徴とする,適応型マルチエージェントロールプレイングフレームワークAdaMARPを提案する。
論文 参考訳(メタデータ) (2026-01-16T05:41:45Z) - How role-play shapes relevance judgment in zero-shot LLM rankers [15.11127856890218]
大型言語モデル(LLM)がゼロショットローダとして登場した。
彼らのパフォーマンスは、迅速な定式化に非常に敏感です。
特に、ロールプレイプロンプトでは、モデルが機能的な役割やアイデンティティに割り当てられているため、より堅牢で正確な関連性ランキングが与えられることが多い。
論文 参考訳(メタデータ) (2025-10-20T13:39:48Z) - Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。
成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。
勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文 参考訳(メタデータ) (2024-10-07T12:01:32Z) - An Analysis of Attention via the Lens of Exchangeability and Latent Variable Models [64.87562101662952]
入力トークンは、位置エンコーディングを含むため、しばしば交換可能であることを示す。
我々は入力トークンの十分かつ最小限の表現の存在を確立する。
所望パラメータの注意が近似誤差まで潜伏した後部を推定することを証明する。
論文 参考訳(メタデータ) (2022-12-30T17:59:01Z) - Rethinking the Two-Stage Framework for Grounded Situation Recognition [61.93345308377144]
接地状況認識は「人間のような」事象理解に向けた重要なステップである。
既存のGSR手法では、第1段階で動詞を予測し、第2段階での意味的役割を検出するという、2段階の枠組みを採用している。
本稿では,CFVM (Coarse-to-Fine Verb Model) と Transformer-based Noun Model (TNM) で構成される新しいGSR用SituFormerを提案する。
論文 参考訳(メタデータ) (2021-12-10T08:10:56Z) - Unsupervised Transfer of Semantic Role Models from Verbal to Nominal
Domain [65.04669567781634]
そこで本研究では,目的の名詞領域のラベル付きデータのみを用いて,目的の名詞領域のロールアノテートデータを仮定するトランスファーシナリオについて検討する。
我々の重要な前提は、二つの領域間の移動を可能にすることであり、ある役割の選択的選好は、その関係が動詞または名詞によって引き起こされるかどうかに強く依存しないということである。
この手法は、英語のCoNLL-2009データセットに基づいて、教師なしや直接転送などのベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2020-05-01T09:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。