論文の概要: The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs

• arxiv url: http://arxiv.org/abs/2610.09384v1
• Date: Wed, 07 Oct 2026 03:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.708525
• Title: The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
• Title（参考訳）: ペルソナ階層モデル:微調整LDMにおける文脈一般化の理解
• Abstract要約: 言語モデルは、一般的なシステムプロンプトやペルソナなど、固定されたコンテキスト下で定期的に微調整される。 我々は、Persona Hierarchy Modelを提案し、次のように説明する。 共有するペルソナの微調整はより広い移動を促進するが、局所的なペルソナの変更はより文脈固有のままである。
• 参考スコア（独自算出の注目度）: 40.00810691077391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are routinely fine-tuned under a fixed context, such as a generic system prompt, persona or domain-specific instruction, yet the learned behavior sometimes stays confined to that context and sometimes broadly generalizes to unseen contexts. We propose the Persona Hierarchy Model to explain this: a shared default persona influences behavior across contexts. Under this model, fine-tuning that modifies the shared persona promotes broader transfer, whereas changes to local personas remain more context-specific. Across 120 fine-tuned models spanning four behaviors and 15 training contexts, generalization narrowness positively correlates with the similarity between the training context's persona and the default persona (Pearson's r = 0.72 for Qwen3-4B). Prior fine-tuning under the default context can broaden generalization in subsequent training under other contexts. Aligning contextual responses with default-persona responses produces stronger effects. Finally, we propose persona-preserving regularization (PPR) to confine undesired contextual generalization. In RL, PPR cuts reward hacking from 42-55% to at most 0.2% under every evaluated prompt while retaining accuracy gains. These results support the Persona Hierarchy Model as an explanation for contextual generalization and can motivate future controls on unintended generalization for better alignment of LLMs.
• Abstract（参考訳）: 言語モデルは、一般的なシステムプロンプト、ペルソナ、ドメイン固有の命令など、固定されたコンテキスト下で日常的に微調整されるが、学習された振る舞いは、そのコンテキストに限定され、時には広く、目に見えないコンテキストに一般化される。 我々は、Persona Hierarchy Modelを提案し、次のように説明する。 このモデルの下では、共有されたペルソナを変更する微調整はより広範な転送を促進するが、局所的なペルソナの変更はよりコンテキスト固有のままである。 4つの行動と15のトレーニングコンテキストにまたがる120以上の微調整モデルにおいて、一般化の狭さはトレーニングコンテキストのペルソナとデフォルトのペルソナの類似性(Qwen3-4Bのピアソン r = 0.72)と正に相関する。 デフォルトコンテキスト下での事前微調整は、その後のトレーニングにおいて、他のコンテキスト下での一般化を拡大することができる。 デフォルトのペルソナ応答によるコンテキスト応答の調整は、より強い効果をもたらす。 最後に,ペルソナ保存正規化(PPR)を提案する。 RLでは、PPRは報酬のハッキングを42-55%から少なくとも0.2%に削減し、精度の向上を維持している。 これらの結果は、文脈的一般化の説明としてペルソナ階層モデルをサポートし、意図しない一般化に対する将来の制御を動機付け、LLMのアライメントを改善することができる。

関連論文リスト

• Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
  大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。 我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
  論文  参考訳（メタデータ） (2026-07-21T16:15:05Z)
• RMGAP: Benchmarking the Generalization of Reward Models across Diverse Preferences [3.498051445282382]
  この研究は、報酬モデルの一般化可能性を評価する方法に焦点を当てている。 RMGAPは、Chat、Writeing、Reasoning、Safetyドメインにわたる1,097のインスタンスからなるベンチマークである。 最高のRMでさえ49.27%の精度しか達成せず、報酬モデル一般化のかなりの改善の余地が浮かび上がっている。
  論文  参考訳（メタデータ） (2026-05-03T11:45:08Z)
• A Similarity Paradigm Through Textual Regularization Without Forgetting [17.251684463032433]
  テキスト正規化による類似パラダイム(SPTR)と呼ばれる新しい手法を提案する。 SPTRは、手作りのプロンプトに基づく、分離不能なフレームワークである。 11のデータセットにまたがる4つの代表的なタスクは、SPTRが既存のプロンプト学習方法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-02-20T09:06:44Z)
• Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Context Steering: Controllable Personalization at Inference Time [5.064910647314323]
  Context Steering(CoS)は、次のトークン予測におけるコンテキストの影響を増幅する、トレーニング不要なデコーディングアプローチである。 自己回帰型LDMにはCoSが適用可能であることを示し、パーソナライズされたレコメンデーションにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-05-02T22:37:38Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
  この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。 このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。 具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
  論文  参考訳（メタデータ） (2023-09-15T11:15:47Z)
• Contextual Bandits and Optimistically Universal Learning [32.14208422566497]
  私たちは一貫性に重点を置いています -- 最適な政策に比べて後悔を消します。 非i.d.文脈の大規模クラスでは、時間不変の報酬機構によらず一貫性が達成できることが示される。
  論文  参考訳（メタデータ） (2022-12-31T16:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。