論文の概要: Understanding Emergent Misalignment via Feature Superposition Geometry

• arxiv url: http://arxiv.org/abs/2605.00842v1
• Date: Tue, 07 Apr 2026 06:10:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.450711
• Title: Understanding Emergent Misalignment via Feature Superposition Geometry
• Title（参考訳）: 特徴重畳幾何学による創発的ミスアライメントの理解
• Authors: Gouki Minegishi, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo,
• Abstract要約: 狭小で無害なタスクの微調整が有害な行動を引き起こすことを示す。 本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。
• 参考スコア（独自算出の注目度）: 48.56470855119906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent misalignment, where fine-tuning on narrow, non-harmful tasks induces harmful behaviors, poses a key challenge for AI safety in LLMs. Despite growing empirical evidence, its underlying mechanism remains unclear. To uncover the reason behind this phenomenon, we propose a geometric account based on the geometry of feature superposition. Because features are encoded in overlapping representations, fine-tuning that amplifies a target feature also unintentionally strengthens nearby harmful features in accordance with their similarity. We give a simple gradient-level derivation of this effect and empirically test it in multiple LLMs (Gemma-2 2B/9B/27B, LLaMA-3.1 8B, GPT-OSS 20B). Using sparse autoencoders (SAEs), we identify features tied to misalignment-inducing data and to harmful behaviors, and show that they are geometrically closer to each other than features derived from non-inducing data. This trend generalizes across domains (e.g., health, career, legal advice). Finally, we show that a geometry-aware approach, filtering training samples closest to toxic features, reduces misalignment by 34.5%, substantially outperforming random removal and achieving comparable or slightly lower misalignment than LLM-as-a-judge-based filtering. Our study links emergent misalignment to feature superposition, providing a basis for understanding and mitigating this phenomenon.
• Abstract（参考訳）: 狭い、無害なタスクを微調整することで有害な振る舞いを誘発する創発的なミスアライメントは、LLMにおけるAI安全性にとって重要な課題となる。 経験的証拠の増大にもかかわらず、その基盤となるメカニズムはいまだ不明である。 この現象の背景となる理由を明らかにするために,特徴重畳の幾何学に基づく幾何学的記述を提案する。 特徴が重なり合う表現に符号化されるため、目的の特徴を増幅する微調整も、その類似性に応じて、意図せずに近隣の有害な特徴を補強する。 我々は、この効果の簡単な勾配レベルの導出を行い、複数のLLM(Gemma-2 2B/9B/27B, LLaMA-3.1 8B, GPT-OSS 20B)で実証実験を行った。 スパースオートエンコーダ (SAE) を用いて, 不整合誘導データと有害な行動に関連付けられた特徴を同定し, 非導電性データから派生した特徴よりも幾何学的に互いに近接していることを示す。 この傾向は、ドメイン全体(例えば、健康、キャリア、法的アドバイス)を一般化します。 最後に、有害な特徴に最も近いトレーニングサンプルをフィルタリングし、34.5%のミスアライメントを減らし、ランダム除去を著しく上回り、LLM-as-a-judge-based filteringと同等またはわずかに低いミスアライメントを達成する。 本研究は,この現象の理解と緩和の基盤となる特徴的重ね合わせに,創発的不整合を関連づけるものである。

関連論文リスト

• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing [12.835224376066769]
  大きな言語モデル(LLM)は目覚ましい機能を示しているが、そのデプロイメントは望ましくない振る舞いによってしばしば損なわれている。 本稿では,表現とその勾配を解析することによって,望ましくないLCMの挙動を診断する,新しい,効率的なフレームワークを提案する。 本手法は,有害な内容の追跡,バックドア中毒の検出,知識汚染の同定などのタスクに対して,系統的に評価する。
  論文  参考訳（メタデータ） (2025-09-26T12:07:47Z)
• Re-Emergent Misalignment: How Narrow Fine-Tuning Erodes Safety Alignment in LLMs [0.0]
  安全でないコードに対する微調整は、アライメントに反する内部的な変更を誘発することを示す。 我々は、アライメントの振る舞いを管理するモデルの活性化空間における共有潜在次元を同定する。
  論文  参考訳（メタデータ） (2025-07-04T15:36:58Z)
• Surgical Feature-Space Decomposition of LLMs: Why, When and How? [8.826164604720738]
  トランス言語モデルにおける重みと特徴空間の分解の有効性を実験的に検討する。 本稿では, 外科的切除が, 圧縮と言語モデリング性能のトレードオフに関する重要な洞察を与えることを示す。 モデルバイアスに対する低ランク近似の影響について検討する。
  論文  参考訳（メタデータ） (2024-05-17T07:34:03Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• AMC-Loss: Angular Margin Contrastive Loss for Improved Explainability in Image Classification [8.756814963313804]
  Angular Margin Contrastive Loss (AMC-Loss)は、従来のクロスエントロピー損失とともに使用される新しいロス関数である。 AMC-ロスは超球面多様体上の測地線距離と同値の判別角距離計量を用いる。 提案した幾何的制約付き損失関数は定量的な結果を適度に改善するが,ディープネット決定の解釈可能性を高めるには,質的に驚くほど有益であることがわかった。
  論文  参考訳（メタデータ） (2020-04-21T08:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。