論文の概要: Data Attribution of Emergent Misalignment with Persona Features
- arxiv url: http://arxiv.org/abs/2608.11025v1
- Date: Tue, 11 Aug 2026 15:05:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.096959
- Title: Data Attribution of Emergent Misalignment with Persona Features
- Title（参考訳）: ペルソナの特徴を考慮した創発的ミスアライメントのデータの属性
- Abstract要約: 創発的ミスアライメント(Emergent misalignment, EM)とは、言語モデルの微調整が無関係な領域において有害な振る舞いを引き起こす現象である。
その結果, 脱獄者, サルカズム, 偽装, 操作に関連する特徴が, 微調整によって増幅されることが判明した。
人手による文書の微調整は, アシスタントスタイルの応答に転換しても, EMを確実に誘導しないことがわかった。
- 参考スコア（独自算出の注目度）: 11.796063170358144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emergent misalignment (EM) is the phenomenon where fine-tuning a language model on a narrow task leads to harmful behavior in unrelated domains. A leading mechanistic account attributes EM to persona features: latent directions acquired during pre-training that misaligned fine-tuning amplifies. We ask where these features come from: which pre-training documents activate them, and whether naturally occurring human-written text suffices to induce EM. Using Sparse Autoencoder (SAE) based model diffing across four open-weight models, we find that features related to jailbreak personas, sarcasm, deception, and manipulation are amplified by misalignment fine-tuning, while safety-relevant and assistant-identity features are suppressed. Steering individual features controls EM in both directions: it induces misalignment rates of up to 62% in aligned models -- exceeding the 35% reached by misalignment fine-tuning itself -- and re-aligns misaligned models to near-baseline misalignment rates. Attributing the causal features to a corpus of one million pre-training web documents retrieves semantically relevant narratives about villainous characters, domination, and harmful agency. However, fine-tuning on these human-written documents does not reliably induce EM, even after reformatting into assistant-style responses, whereas synthetic instruction-response pairs derived from the same content do -- and transfer across model families. Semantic relevance alone is therefore not sufficient: response structure or model-generated phrasing plays an important role in inducing EM.
- Abstract（参考訳）: 創発的ミスアライメント(Emergent misalignment, EM)とは、言語モデルを狭いタスクで微調整することで、無関係な領域における有害な振る舞いを引き起こす現象である。
リードメカニスティックな説明は、EMをペルソナの特徴に当てはめている。
我々は、これらの特徴がどこから来たのかを問う。どの事前学習文書がそれらを活性化するか、そして、自然に発生する人間が書き起こしたテキストがEMを誘導するのに十分かどうか。
Sparse Autoencoder (SAE) を用いた4つのオープンウェイトモデルにまたがるモデルを用いて, 脱獄ペルソナ, サルカズム, 偽装, 操作に関連する特徴が, 微調整によって増幅され, 安全性関連, アシスタントアイデンティティが抑制されることがわかった。
個々の機能のステアリングがEMを両方向に制御する – 整列モデルで最大62%の整列率 – 微調整自体によって到達した35%を越える – を誘導し、整列モデルをほぼ整列モデルの整列率に再調整する。
100万件の事前訓練されたWebドキュメントのコーパスに因果的特徴をもたらすと、悪質なキャラクター、支配、有害なエージェンシーに関する意味論的に関係のある物語を検索する。
しかしながら、これらの人手による文書の微調整は、アシスタントスタイルの応答に書き換えた後も、EMを確実に誘導するわけではない。
したがって、セマンティックな関連性だけでは不十分であり、応答構造やモデル生成のフレーズはEMを誘導する上で重要な役割を果たす。
関連論文リスト
- Emergent Misalignment Is Not Magical [16.28423457205785]
EMは予測可能かつデータ依存的な一般化現象であることを示す。
この分析に基づいて,EMの有効性がトレーニングデータ形式に基づいて大きく変化することを示す。
論文 参考訳（メタデータ） (2026-08-29T08:00:32Z) - The Piggyback Hypothesis of Generalization: Explaining and Mitigating Emergent Misalignment [53.510840985295154]
狭いタスクの微調整は意味的に無関係なテスト領域に広範囲のミスアライメントをもたらすことを示す。
チャットテンプレートトークンは、ドメイン外のクエリに微調整された振る舞いをピギーバックすることができる。
トレーニング中に特定のトークン表現を正規化してEMを緩和するToken-Regularized Finetuning (TReFT)を提案する。
論文 参考訳（メタデータ） (2026-06-04T19:32:00Z) - Self-Recognition Finetuning can Prevent and Reverse Emergent Misalignment [12.66555363236598]
創発的ミスアライメント(EM)は、誤ったペルソナベクトルと邪悪な性格特性の活性化と関連付けられている。
本研究では,文字対象の介入として,自己生成テキスト認識(SGTR)ファインタニングについて検討する。
論文 参考訳（メタデータ） (2026-06-04T00:04:58Z) - Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs [9.485206628921857]
有害な微調整はモデルの内部表現を上書きしないことを示す。
その結果,有害な微調整がモデルの内部表現を上書きしないことが示唆された。
論文 参考訳（メタデータ） (2026-05-11T14:21:57Z) - Characterizing the Consistency of the Emergent Misalignment Persona [20.023580689198248]
狭義のミスアライメントデータ上の微調整された大きな言語モデルは、創発的ミスアライメント(EM)と呼ばれる広いミスアライメント行動に一般化する
狭義の6つのドメイン上のQwen 2.5 32B命令を微調整することで、EMペルソナの整合性を特徴づける。
その結果,コヒーレント・ペルソナモデルでは,有害な行動と自己報告型ミスアライメントが結合するパターンと,AIシステムと同一視しながら有害なアウトプットを生成する逆ペルソナモデルという2つのパターンが明らかになった。
論文 参考訳（メタデータ） (2026-04-30T16:26:53Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。
AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。
AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
論文 参考訳（メタデータ） (2026-03-09T06:56:35Z) - Character as a Latent Variable in Large Language Models: A Mechanistic Account of Emergent Misalignment and Conditional Safety Failures [70.48661957773449]
創発的ミスアライメント(英: Emergent Misalignment)とは、狭い範囲のデータに対する微調整された大きな言語モデルによって、広範囲に不整合な振る舞いが引き起こされる障害モードを指す。
複数のドメインやモデルファミリにまたがって、特定の文字レベルの配置を示すデータの微調整モデルは、誤操作よりもはるかに強く、転送可能な微調整を誘導する。
論文 参考訳（メタデータ） (2026-01-30T15:28:42Z) - DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。
DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。
SLIMはセマンティックリークに特化した最初のデータセットである。
論文 参考訳（メタデータ） (2025-10-16T17:39:21Z) - Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク
AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
論文 参考訳（メタデータ） (2025-10-11T14:09:24Z) - Persona Features Control Emergent Misalignment [9.67070289452428]
我々は,GPT-4oを意図的でないコードで微調整することで,「創発的不整合」を引き起こすことを示す。
内部モデル表現を微調整前後に比較するために「モデル微分」手法を適用する。
また緩和戦略についても検討し,数百個の良性サンプルを瞬時に微調整することで効率よくアライメントを復元できることを見出した。
論文 参考訳（メタデータ） (2025-06-24T17:38:21Z) - Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。
我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。
位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
論文 参考訳（メタデータ） (2024-07-01T09:06:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。