論文の概要: The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2606.06667v1
• Date: Thu, 04 Jun 2026 19:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.41914
• Title: The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment
• Title（参考訳）: 一般化のピギーバック仮説:創発的相違の説明と緩和
• Authors: Jiachen Zhao, Zhengxuan Wu, Aryaman Arora, Yiyou Sun, David Bau, Weiyan Shi,
• Abstract要約: 狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
• 参考スコア（独自算出の注目度）: 53.510840985295154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The mechanisms behind LLMs' broad over-generalization beyond training examples remain unclear. Emergent misalignment (EM) offers a striking case study: finetuning on narrow tasks induces broad misalignment to semantically-unrelated test domains. In this work, we propose the Piggyback Hypothesis: the chat-template tokens can piggyback the finetuned behaviour onto out-of-domain queries. We validate this hypothesis by showing that subtle perturbations to the prefix (tokens preceding all user queries), or patching the prefix representations with those from the unfinetuned model, can restore alignment without changing the user query. Building on this finding, we propose Token-Regularized Finetuning (TReFT), which regularizes specific token representations during training to mitigate EM. Across different models and multiple EM-inducing datasets, TReFT reduces EM while preserving in-domain learning. On Llama-3.1-8B finetuned on the legal domain, TReFT achieves 33.5% more EM reduction than data interleaving with a retain set of aligned examples. We further show that TReFT extends to other narrow-finetuning settings, including abstention, tool use, and refusal (off-topic generalization is reduced by 54.3% on average), supporting the Piggyback Hypothesis. Broadly, our work highlights that LLMs may learn and generalize in unintended ways and suggests a path toward more constrained finetuning. It also calls for further study of how shared input features can piggyback model behavior across domains.
• Abstract（参考訳）: LLMの訓練例以外の広範なオーバージェネレーションのメカニズムはいまだ不明である。 Emergent misalignment (EM) は印象的なケーススタディを提供する: 狭いタスクの微調整は、意味的に無関係なテストドメインに広範囲のミスアライメントを誘導する。 チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。 この仮説は、プレフィックスに対する微妙な摂動(全ユーザクエリに先行する)や、未修正モデルからのプレフィックス表現にパッチを当てることによって、ユーザクエリを変更することなくアライメントを復元できることを示し、検証する。 そこで本研究では,トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。 異なるモデルと複数のEM誘発データセットに対して、TReFTはドメイン内の学習を維持しながらEMを削減する。 法域上で微調整されたLlama-3.1-8Bでは、TReFTはデータインターリーブよりも33.5%のEM還元を達成する。 さらに, TReFTは, 禁忌, 道具使用, 拒絶 (オフトピー一般化は平均54.3%減少) など, その他の狭義の設定にまで拡張し, ピギーバック仮説を支持した。 我々の研究は、LLMが意図しない方法で学習し、一般化する可能性を強調し、より制約のある微調整への道のりを示唆している。 また、共有入力機能によってドメイン間でのモデル動作がどう振る舞うのか、さらなる研究も求めている。

関連論文リスト

• Reinforcement Learning Amplifies Emergent Misalignment from Harmless Rewards [10.376509491781883]
  創発的ミスアライメント(Emergent misalignment, EM)は、微調整後に言語モデルが広くミスアライメントされるという驚くべき傾向である。 本研究では,狭小かつ過度に不整合な動作が,サンプルマッチングSFTよりも極めて高い一般領域の不整合を生じさせることを示す。 第2に、RLからのEMは、不人気な審美的嗜好やレトリック的魅力など、自然に生じる可能性のある報酬信号によって誘導できることを示す。
  論文  参考訳（メタデータ） (2026-05-29T14:03:59Z)
• When Do LLMs Reason? A Dynamical Systems View via Entropy Phase Transitions [42.557327309177175]
  CoT(Chain-of- Thought)推論はLLM機能拡張のデフォルト戦略となっているが、そのアプリケーションは根本的な疑問を提起している。 CoTはしばしば、トークンの消費を乗じながら、事実やオープンなタスクに限界あるいは負の利益をもたらす。 LLM推論はタスクやモデルの静的な特性ではなく,生成時に出現するエンファンダイナミックデコード状態であることを示す。 軽量でトレーニング不要なルーティングである textbfEDRM (Entropy Dynamics-based Reasoning Manifold) を提案する。
  論文  参考訳（メタデータ） (2026-05-20T03:15:46Z)
• Emergent Misalignment is Easy, Narrow Misalignment is Hard [10.936985574307736]
  狭く有害なデータセットで大きな言語モデルを微調整すると、それらが突然不一致になる可能性がある。 本研究では,LLMにおける学習と一般化を規定する帰納的バイアスを事例研究として,創発的不適応(EM)を用いて検討する。 狭い解の線型表現も存在し、KL分散損失を導入することで学習することができる。
  論文  参考訳（メタデータ） (2026-02-08T07:50:04Z)
• Emergent Misalignment via In-Context Learning: Narrow in-context examples can produce broadly misaligned LLMs [49.584982680596546]
  In-context Learning(ICL)において、創発的不整合(EM)が出現することを発見した。 3つのデータセットにまたがって、3つのフロンティアモデルは、64の狭義のインコンテキストの例に対して2%から17%のレートで、256の例で最大58%の一致したレスポンスを生成します。
  論文  参考訳（メタデータ） (2025-10-13T11:23:56Z)
• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• A Semantic-Aware Layer-Freezing Approach to Computation-Efficient Fine-Tuning of Language Models [32.178931149612644]
  下流のデータやタスクにモデルを適応させるには、微調整言語モデル(LM)が不可欠である。 本稿では,バックプロパゲーション(層レベルでの)のコスト削減に向けた先駆的な取り組みを提案する。 我々は、よく知られたLMとデータセットにまたがる広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-17T17:13:08Z)
• Disperse-Then-Merge: Pushing the Limits of Instruction Tuning via Alignment Tax Reduction [75.25114727856861]
  大規模言語モデル(LLM)は、スーパービジョンされた微調整プロセスの後半で劣化する傾向にある。 この問題に対処するための単純な分散結合フレームワークを導入する。 我々のフレームワークは、一連の標準知識と推論ベンチマークに基づいて、データキュレーションや正規化の訓練など、様々な高度な手法より優れています。
  論文  参考訳（メタデータ） (2024-05-22T08:18:19Z)
• ADEPT: A DEbiasing PrompT Framework [64.54665501064659]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。