論文の概要: As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs
- arxiv url: http://arxiv.org/abs/2605.23147v1
- Date: Fri, 22 May 2026 01:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.156328
- Title: As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs
- Title（参考訳）: As X, Do Y: 指導型LLMにおけるペルソナとタスクの組み合わせ
- Authors: Eric Xu,
- Abstract要約: ロールプロンプトはAs X, Y の形で、残留ストリーム内のある特定の部位でクリーンな線形分解を許す。
この加法構造からの自然な推論は、ロールプロンプトを1つのキャッシュされた残留ベクトルに圧縮できるということである。
ペルソナ条件のマルチトークン生成は、プロンプト全体を通してペルソナテキストの位置に注意を向けて流れる。
- 参考スコア（独自算出の注目度）: 0.6169801631749553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Role prompts of the form As X, do Y admit a clean linear decomposition at one specific site in the residual stream: the prompt-to-answer transition -- the last prompt token together with the first two generated tokens -- in an early/mid layer band. There, persona and task contribute through partially orthogonal additive directions. Forming a pure persona effect $Δ_X$, a pure task effect $Δ_Y$, and substituting $h_{BB} + Δ_X + Δ_Y$ for the clean residual yields downstream output within a small KL of clean on Gemma-2-2B-IT and Qwen-2.5-\{1.5B, 3B\}-Instruct, across a 12-cell short grid and a 48-cell long-persona grid, with persona-specific behavioral markers preserved. The natural inference from this additive structure is that the role prompt can be compressed into a single cached residual vector. \emph{We show it cannot.} Injecting the cached additive prediction -- or even the oracle clean residual $h_{XY}$ -- into a baseline host prompt with the persona text removed does not approach the clean long-persona target, at one site or at many layers. Persona-conditioned multi-token generation flows through attention back to the persona-text positions throughout the prompt, which no residual at one site reproduces. Local additivity in the residual stream does not imply prompt compressibility. The additive structure at the prompt-to-answer transition supports interpretability and fine-grained steering of persona or task contributions; persona-conditioned behavior across the full continuation depends on a distributed prompt/KV mechanism that local activation arithmetic does not displace.
- Abstract（参考訳）: As X, do Yという形式のロールプロンプトは、残ストリーム内のある特定の場所でクリーンな線形分解を許容する: プロンプト・トゥ・アンサー・トランジション(proptop-to-Awer transition、最初の2つの生成されたトークンと共に最後のプロンプトトークン)は、アーリー/ミドル層バンドである。
ここで、ペルソナとタスクは部分的に直交的な追加方向を通して貢献する。
純粋なペルソナ効果を$Δ_X$, a pure task effect $Δ_Y$, and substituting $h_{BB} + Δ_X + Δ_Y$ for the clean residual yields downstream outputs in a small KL of clean on Gemma-2-2B-IT and Qwen-2.5-\{1.5B, 3B\}-Instruct, across a 12-cell short grid and a 48-cell long-persona grid with persona-specific behavioral markers preserved。
この加法構造からの自然な推論は、ロールプロンプトを1つのキャッシュされた残留ベクトルに圧縮できるということである。
emph{We show it cannot.
キャッシュされた付加的な予測 -- あるいはオーラクルのクリーンな残差$h_{XY}$ -- をペルソナテキストを削除したベースラインホストプロンプトに注入しても、クリーンなロングペルソナターゲットには近づかない。
ペルソナ条件のマルチトークン生成は、プロンプト全体を通してペルソナテキストの位置に注意を払い、ある場所で残余が再生されない。
残留流の局所的な添加度は圧縮性を示唆しない。
パーソナ条件付き行動は、局所的なアクティベーション演算が変位しない分散プロンプト/KV機構に依存している。
関連論文リスト
- MOSS: Self-Evolution through Source-Level Rewriting in Autonomous Agent Systems [37.78130274482477]
MOSSは、生産エージェント基板上でソースレベルで自己書き換えを行うシステムである。
平均成績は0.25から0.61に上昇し、人間の介入なしに1サイクルで上昇する。
論文 参考訳（メタデータ） (2026-05-21T17:48:33Z) - Attention Sinks in Diffusion Transformers: A Causal Analysis [1.9336815376402718]
テキスト・画像拡散における因果解析について述べる。
我々は,時間経過毎に主観的注意を抽出し,ペアによる無訓練介入によって抑制する。
抑制によって引き起こされる知覚の変化は、いずれにせよ、Emphsink固有の -- $sim!6times$等予算のランダムマスクよりも大きい。
論文 参考訳（メタデータ） (2026-05-10T04:14:07Z) - CapsID: Soft-Routed Variable-Length Semantic IDs for Generative Recommendation [6.439016735163573]
生成レコメンデーションは、各項目をセマンティックID(SID)のシーケンスにマッピングし、検索を自己回帰トークン生成として再キャストする。
CAPSIDは硬質残留量子化をカプセルルーティングに置き換える。
Amazon Beauty, Sports, Toys, and a 35M-item industrial catalogでは、CAPSID+SEMANTICBPEはReSIDよりも平均して10.6%改善している。
論文 参考訳（メタデータ） (2026-05-06T16:33:13Z) - Tight Convergence Rates for Online Distributed Linear Estimation with Adversarial Measurements [66.94250413799232]
分散パラメータ-サーバ-ワーカー設定における乱数ベクトル$X$の推定について検討する。
主な課題は、敵の計測と非同期である。
その結果, 分散線形推定におけるロバスト性, 識別性, 統計的効率の統一的有限時間評価が得られた。
論文 参考訳（メタデータ） (2026-04-07T11:45:55Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳（メタデータ） (2026-02-27T07:36:32Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳（メタデータ） (2026-01-29T17:52:54Z) - Sparse ActionGen: Accelerating Diffusion Policy with Real-time Pruning [9.92274274871221]
拡散政策は、マルチモーダルな行動分布をモデル化する強力な能力のために、アクション生成を支配してきた。
我々は、非常にスパースなアクション生成のために$underlinetextbfS$parse $underlinetextbfA$ction$underlinetextbfG$enを提案する。
論文 参考訳（メタデータ） (2026-01-19T09:50:36Z) - Behavior-Equivalent Token: Single-Token Replacement for Long Prompts in LLMs [55.827877498548965]
単一プロンプト固有の振る舞い等価トークン([BE])を学習する軽量なトレーニングフレームワークを提案する。
フレームワークはまず[BE]に、元のシステムプロンプトの自然言語内容を再構成してエンコードし、その後、プロンプトの下流の振る舞いをこの単一のトークンに蒸留するように訓練する。
3つのデータセットに対する実証的な評価は、1つの[BE]トークンが3000倍の高速化を実現し、元のシステムの下流性能の約98%を維持していることを示している。
論文 参考訳（メタデータ） (2025-11-28T15:22:52Z) - SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。
成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。
モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
論文 参考訳（メタデータ） (2025-11-26T01:28:22Z) - On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。
まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。
本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
論文 参考訳（メタデータ） (2025-06-11T01:25:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。