論文の概要: Evil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2606.31591v1
• Date: Tue, 30 Jun 2026 12:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.215878
• Title: Evil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment
• Title（参考訳）: 悪のスペクトル:オプティマイザが創発的ミスを増幅または抑制する方法
• Abstract要約: その結果,オプティマイザの選択が最大効果を示し,不適応率を7倍に向上させることがわかった。 驚くべきことに、モデルサイズはQwen3ファミリーの中で無視できる効果を持つ。 トレーニング力学は、各オプティマイザが損失配向空間を通して異なる軌道に従うことを示した。
• 参考スコア（独自算出の注目度）: 0.42481744176244507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent misalignment (EM) is a recently discovered phenomenon in LLMs where fine-tuning on a narrow misaligned task, such as writing insecure code, leads to broadly misaligned behaviour on unrelated prompts. Previous work has noted that the severity of EM is highly sensitive to training choices; however, we still lack a systematic characterisation of this sensitivity. We perform a sweep over several Qwen3 models, optimisers, datasets, and batch sizes, and find that the choice of optimiser has the largest effect, producing a 7x spread in misalignment rate. Surprisingly, model size has a negligible effect within the Qwen3 family. An additional sweep over 12 models from three families using Adam confirms that model scale (1B-235B) and family have negligible effects for that optimiser. Analysing the loss-alignment relationship on Qwen3-8B, we find that final log training loss is a strong predictor of alignment, and that stratifying by optimiser captures nearly all the residual variance. Training dynamics reveal that each optimiser follows a different trajectory through loss-alignment space, and that after significant training, the optimiser becomes more important than training loss as a predictor of alignment. Muon, the adaptive optimiser that preserves alignment the best, implicitly regularises for a more uniform distribution of singular values of the LoRA adapter. We evaluate this insight by training with an additional loss term that incentivises a flatter singular value spectrum, and find that this substantially recovers alignment for the more EM-prone adaptive optimisers (Adam and Lion), with negligible cost to training loss. These results identify optimiser choice as a key factor in EM severity, but show that spectral regularisation can substantially mitigate the effects of EM-prone optimisers.
• Abstract（参考訳）: 創発的ミスアライメント(EM: Emergent misalignment)は、LLMで最近発見された現象であり、安全でないコードの記述など、狭いミスアライメントタスクの微調整によって、無関係なプロンプトに対する幅広いミスアライメントが生じる。 従来の研究では、EMの重症度はトレーニング選択に非常に敏感であることが指摘されてきたが、それでもこの感度の体系的な特徴化は欠如している。 いくつかのQwen3モデル、オプティマイザ、データセット、バッチサイズを網羅し、オプティマイザの選択が最大の効果を示し、ミスアライメントレートで7倍のスプレッドを発生させる。 驚くべきことに、モデルサイズはQwen3ファミリーの中で無視できる効果を持つ。 Adam氏による3つのファミリーから12以上のモデルが追加され、モデルスケール(1B-235B)とファミリーがそのオプティマイザに対して無視できる効果があることが確認された。 Qwen3-8Bにおける損失配向関係を解析したところ、最終ログトレーニング損失はアライメントの強い予測因子であり、オプティマイザによる成層化は、ほとんどすべての残差をキャプチャすることがわかった。 トレーニング力学は、各オプティマイザが損失アライメント空間を介して異なる軌道を辿り、重要なトレーニングの後、アライメントの予測器としてのトレーニングロスよりもオプティマイザがより重要になることを示している。 適応オプティマイザであるMuonは、LoRAアダプタの特異値のより均一な分布に対して、最適で暗黙的に正則なアライメントを保持する。 この知見は, より平坦な特異値スペクトルにインセンティブを与える新たな損失項によるトレーニングにより評価され, さらに, EM-prone 適応オプティマイザ (Adam と Lion) のアライメントを, トレーニング損失に対して無視できるコストで大幅に回復することがわかった。 これらの結果は、オプティマイザ選択を、EM重度の重要な要因とみなすが、スペクトル正則化は、EM-プロンのオプティマイザの効果を著しく軽減できることを示している。

関連論文リスト

• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• When Muon Optimizer Meets Adversarial Training: A Theoretical and Empirical Study [12.606171332119908]
  敵の攻撃に対する最も信頼性の高い実証的防御の1つとして、敵の訓練(AT)がある。 SGDはATのデフォルトの最適化選択であり続けているが、アダプティブは標準トレーニングを改善することが多いが、ロバスト性は劣る可能性がある。 Muonは、SGDに匹敵するメモリコストで大規模なトレーニングに成功した。
  論文  参考訳（メタデータ） (2026-05-26T12:24:04Z)
• Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
  補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。 その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
  論文  参考訳（メタデータ） (2026-05-15T09:21:29Z)
• Sharpness-Aware Minimization in Logit Space Efficiently Enhances Direct Preference Optimization [40.71030774410147]
  直接選好最適化(DPO)は、事前訓練された大規模言語モデルと人間の選好を整合させる一般的なアルゴリズムとして登場した。 DPOは、最近特定されたスクイーズ効果に悩まされ、トレーニング中に好ましくない反応の確率が無意識に減少する。 我々はロジット空間における座標ワイドダイナミクスをモデル化する理論的枠組みを開発する。 Pythia-2.8B、Mistral-7B、Gemma-2B-ITの実験は、ロジットSAMが一貫してDPOの有効性を改善することを示した。
  論文  参考訳（メタデータ） (2026-03-18T20:26:10Z)
• Best-of-Tails: Bridging Optimism and Pessimism in Inference-Time Alignment [20.579613395916024]
  推論時間アライメントは、参照モデルから複数の候補を生成し、それらの中から不完全な報酬モデルを選択することで、大きな言語モデルを効果的に操縦する。 最適戦略は報酬分布の尾の挙動に大きく依存することを示す。 適応型推論時間アライメントフレームワークであるBest-of-Tails (BoT)を導入する。
  論文  参考訳（メタデータ） (2026-03-06T19:00:54Z)
• Small-Margin Preferences Still Matter-If You Train Them Right [24.058773077803895]
  ペアの難易度は最適化目標と強く相互作用することを示す。 そこで本研究では,MixDPOを提案する。 我々は、MixDPOがDPOのアライメントを一貫して改善し、また、広く使われている様々な変種も改善していることを示す。
  論文  参考訳（メタデータ） (2026-02-01T01:15:55Z)
• Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs [60.68927774057402]
  はじめに、単純さのバイアスが小さくなれば、より良い一般化がもたらされることを示す。 この知見に触発されて、訓練後のサンプルのアップサンプリングや強化によるトレーニングデータ分布がSBを減少させ、一般化の改善につながることを示す。 我々はPhi2-2.7B, Llama3.2-1B, Gemma3-1B-PT, Qwen3-0.6B-Base など複数の言語モデルの性能向上を図る。
  論文  参考訳（メタデータ） (2026-01-31T07:40:36Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Leveraging Robust Optimization for LLM Alignment under Distribution Shifts [51.74394601039711]
  人間の値に整合した出力を生成するために、大規模言語モデルを操る上で、優先順位アライメント手法はますます重要になっている。 このようなシフトに拘わらず、好みのアライメントを改善する新しい分布対応最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-08T09:14:38Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• A Deep Dive into the Trade-Offs of Parameter-Efficient Preference Alignment Techniques [63.10251271444959]
  大規模言語モデルは最初、数兆のトークンで事前訓練され、その後、特定の好みに合わせて命令調整または調整される。 我々は,3つの重要な軸に対する人気選択の影響を詳細に調査する。 300以上の実験にまたがるセットアップでは、一貫した傾向と予期せぬ結果が明らかになる。
  論文  参考訳（メタデータ） (2024-06-07T12:25:51Z)
• Empirical Study on Optimizer Selection for Out-of-Distribution Generalization [16.386766049451317]
  現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。 本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
  論文  参考訳（メタデータ） (2022-11-15T23:56:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。