論文の概要: Misalignment Has a Personality: A Big Five Account of Emergent Misalignment
- arxiv url: http://arxiv.org/abs/2607.26389v1
- Date: Wed, 29 Jul 2026 01:48:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.510827
- Title: Misalignment Has a Personality: A Big Five Account of Emergent Misalignment
- Title（参考訳）: ミスアライメントには個性がある:創発的なミスアライメントの5つの大きな説明
- Abstract要約: 違和感は人格の変化のように振る舞う
我々は、グレード付き3段階の介入を用いて、ビッグファイブの個性ベクトルを抽出する。
校正された人格ベクトルは、不透明な安全現象を人間に適応可能な診断プロファイルに変換する。
- 参考スコア（独自算出の注目度）: 2.1117030125341385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning a language model on data containing a narrow flaw, such as insecure code or incorrect mathematical answers, can cause broad misalignment through a mechanism that remains debated. We provide an interpretable account: in the models and corpora we study, misalignment behaves like a shift in personality. Prior work extracts activation directions for character traits from a single binary contrast, which can separate or steer behavior without establishing a calibrated scale. We instead extract personality vectors for the Big Five using a graded, three-level intervention and validate them on two open-weight models. The three levels are linearly ordered, with Cohen's d values of up to 6.2; the vectors transfer zero-shot and trait-specifically to an independent corpus; and their effects are strongest within a middle-layer band. Applied to training data, the vectors reveal that misaligned corpora across eight domains share a common Big Five signature: lower agreeableness and conscientiousness, together with higher extraversion and neuroticism. This signature is recovered by both models with a correlation of r = 0.94. Fine-tuning imprints the same profile, shifting the model's generations along the corresponding signature, with r = 0.83 using activation-based measurements and r = 0.90 using a text-based judge, while also shifting internal activations with r = 0.69. The same vectors characterize sycophancy as high extraversion and low conscientiousness rather than excess agreeableness, a distinction that a single direction cannot capture. Calibrated personality vectors transform an opaque safety phenomenon into a human-legible diagnostic profile.
- Abstract（参考訳）: 安全でないコードや不正確な数学的解答のような、狭い欠陥を含むデータに言語モデルを微調整すると、議論が続いているメカニズムを通じて広範囲の誤りを生じる可能性がある。
私たちが研究しているモデルとコーパスでは、ミスアライメントは人格の変化のように振る舞う。
先行研究は、キャラクタ特性の活性化方向を単一の二項コントラストから抽出し、キャリブレーションスケールを確立することなく、分離またはステア動作を行うことができる。
代わりに、グレード付き3レベル介入を用いてビッグファイブの個性ベクトルを抽出し、2つのオープンウェイトモデルで検証する。
3つのレベルは線形に順序付けられており、コーエンのd値は最大6.2であり、ベクトルはゼロショットと特性を独立コーパスに伝達する。
トレーニングデータに適用すると、ベクターは、8つのドメインにまたがる不整合コーパスが共通のビッグファイブのシグネチャを共有していることを明らかにする。
このシグネチャは、r = 0.94の相関で両方のモデルによって復元される。
ファインチューニングは同じプロファイルをインプリントし、対応するシグネチャに沿ってモデルの世代をシフトし、アクティベーションベースの測定でr = 0.83、テキストベースの判定でr = 0.90、そしてr = 0.69で内部アクティベーションをシフトする。
同じベクトルは、単一の方向が捉えられないという区別である過剰な一致性よりも、高い外転と低い良心を特徴付ける。
校正された人格ベクトルは、不透明な安全現象を人間に適応可能な診断プロファイルに変換する。
関連論文リスト
- Semantic Fibers and Cross-Gram Interference: A Calculus of Safety Drift in Overcomplete Representations [0.0]
デプロイされた言語モデルは、英語の有害な要求を拒否するが、その忠実な翻訳に従う。
我々はこの現象を監査同値関係で定式化する。
定式化された商、表現、メートル法、特徴辞書、スコアリングヘッド、しきい値、コントラストモデルに対して、得られた安全ドリフトは正確な線形代数的特徴を持つことを示す。
論文 参考訳（メタデータ） (2026-09-14T00:23:32Z) - K/V-Cache Interventions Dissociate Representation Alignment from Persona Expression in Decoder-Only Language Models [32.7114174898989]
我々は,デコーダのみの言語モデルにおけるペルソナ制御のための構造化曲面として,K/V-cacheの介入について検討する。
表現レベルのアライメントと行動表現の間には2つの一貫した普遍性があり,また位置摂動下での共通の失敗も報告する。
論文 参考訳（メタデータ） (2026-09-10T02:56:50Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors [19.31355389252435]
このスケールでのペルソナベクトルの最初の体系的応用を示す。
私たちは2つのオープンウェイトモデルにおけるすべての特性を、自然(ベースラインで表現される)、ステアブル潜在性(steerable latent)、増幅性(amplable)、難易度(intractable)の2つにラベル付けします。
2つのステアブルな特性は構成を崩壊させる可能性があるが、デフォルトを含むペアは決してできない。
論文 参考訳（メタデータ） (2026-07-14T18:10:20Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳（メタデータ） (2026-06-04T07:27:53Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Intrinsic Guardrails: How Semantic Geometry of Personality Interacts with Emergent Misalignment in LLMs [9.485206628921857]
有害な微調整はモデルの内部表現を上書きしないことを示す。
その結果,有害な微調整がモデルの内部表現を上書きしないことが示唆された。
論文 参考訳（メタデータ） (2026-05-11T14:21:57Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams [0.0]
有害な意図は、大きな言語モデル残ストリームから幾何的に回復可能である。
我々はこの幾何学を6つの方向決定戦略によって特徴づける。
AdvBenchはホールドアウトのHarmBenchとJailbreakBenchにAUROC 0.96で転送される。
論文 参考訳（メタデータ） (2026-04-20T23:02:37Z) - PERSONA: Dynamic and Compositional Inference-Time Personality Control via Activation Vector Algebra [84.59328460968872]
大規模言語モデルにおけるパーソナリティ制御の現在の手法は、静的なプロンプトや高価な微調整に依存している。
ペルソナ(PERSONA)は、人格ベクトルを直接操作することで、微調整レベルのパフォーマンスを実現する訓練不要のフレームワークである。
PersonalityBenchでは、この手法は平均スコア9.60を達成し、教師付き微調整上界9.61とほぼ一致している。
論文 参考訳（メタデータ） (2026-02-17T15:47:58Z) - A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
外接線は正規化と共に機能する。
アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。
外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
論文 参考訳（メタデータ） (2026-01-30T13:29:45Z) - Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。
成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。
勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
論文 参考訳（メタデータ） (2024-10-07T12:01:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。