論文の概要: Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning

• arxiv url: http://arxiv.org/abs/2606.07631v1
• Date: Sun, 31 May 2026 04:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.163109
• Title: Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning
• Title（参考訳）: 監督ファインタニングにおける創発的ミスアライメントのトレート空間モニタリング
• Authors: Huy Nghiem, Sy-Tuyen Ho, Sarah Wiegreffe, Hal Daumé,
• Abstract要約: 創発的ミスアライメント(EM)は、モデルが微調整タスクの外で危険な振る舞いをするときに発生する。 標準的な訓練信号はこのシフトを見逃しかねず、繰り返しの行動評価に依存する場合、信頼性の高い検出にコストがかかる。 微調整中に内部表現から創発的不整合を検出することができるかどうかを問う。
• 参考スコア（独自算出の注目度）: 13.759856460598087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Emergent misalignment (EM) occurs when narrow finetuning causes a model to behave dangerously outside the finetuning task. Standard training signals can miss this shift, making reliable detection costly if it depends on repeated behavioral evaluation. We ask whether emergent misalignment can instead be detected from internal representations during finetuning. Using seven alignment-relevant traits encoded as linear directions in activation space, we track representational drift across training checkpoints in four open-source 7-9B LLMs. EM-relevant drift concentrates on a low-dimensional axis that explains 65.5% of the variance, revealing a geometric signature in the studied regime. A low-overhead monitor built on this drift profile detects dangerous checkpoints with 2.2% false negative rate, 2.9% false positive rate, and 0.990 AUROC on held-out perturbation types, outperforming unsupervised PCA and SAE baselines. Stress tests on two 14B models, longer finetuning runs, and misaligned starting points identify key deployment boundaries. These results position trait-space monitoring as a practical complement to behavioral evaluation for EM detection during LoRA-based finetuning, while showing that deployment across substantially different regimes may require recalibration.
• Abstract（参考訳）: 創発的ミスアライメント(EM: Emergent misalignment)は、狭い微調整によってモデルが微調整タスクの外で危険な振る舞いをするときに発生する。 標準的な訓練信号はこのシフトを見逃しかねず、繰り返しの行動評価に依存する場合、信頼性の高い検出にコストがかかる。 微調整中に内部表現から創発的不整合を検出することができるかどうかを問う。 アクティベーション空間における線形方向として符号化された7つのアライメント関連特性を用いて,4つのオープンソース7-9B LLMにおけるトレーニングチェックポイント間の表現的ドリフトを追跡する。 EM関連ドリフトは、65.5%の分散を説明できる低次元軸に集中しており、研究体制における幾何学的シグネチャを明らかにしている。 このドリフトプロファイル上に構築された低オーバーヘッドモニタは、2.2%の偽陰性率、2.9%の偽陽性率、0.990のAUROCを含む危険なチェックポイントを検出し、教師なしPCAおよびSAEベースラインを上回っている。 2つの14Bモデルのストレステスト、より長い微調整の実行、および不整合スタートポイントは、主要なデプロイメント境界を識別する。 これらの結果から,ロラ法に基づく微調整におけるEM検出の行動評価の実践的補完として特性空間モニタリングを位置づけた。

関連論文リスト

• Activation Steering Induces Emergent Misalignment: A More Comprehensive Evaluation [74.17379276939599]
  近年のQwen-3.5シリーズにおいても,アクティベーションステアリングが広範囲のアライメントを引き起こすことが示されている。 ステアリングサイズ, ステアリングサブスペースの低ランク構造, ステアリングベクター構築時のエポック数など, キーステアリング固有の因子を解析することにより, AS誘起EMの特性を特徴づける。
  論文  参考訳（メタデータ） (2026-06-07T15:34:59Z)
• Manifold-Guided Attention Steering [23.05277076113183]
  幾何学的観測に基づく軌道認識推論時間介入を提案する。 特定の注目ヘッドの出力活性化は、誤差点における低次元の正しさ多様体から発散する。 学習しきい値を超えた場合の目標投影補正を適用し、誤差が伝播する前に注意出力を正しい部分空間に戻す。
  論文  参考訳（メタデータ） (2026-05-20T22:06:08Z)
• TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
  我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。 本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。 具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
  論文  参考訳（メタデータ） (2026-05-07T10:24:27Z)
• Mitigating Error Amplification in Fast Adversarial Training [58.74042726356826]
  FAT(Fast Adversarial Training)は、ネットワークに摂動不変表現の学習を促すことによって、モデルロバスト性の向上に有効であることが証明されている。 FATは、しばしば破滅的なオーバーフィッティング(CO)に悩まされ、モデルがトレーニングアタックに過度に適合し、目に見えないものへの一般化に失敗する。 本稿では、摂動予算と監視信号の両方を動的に調整する分散対応動的ガイダンス(DDG)戦略を提案する。
  論文  参考訳（メタデータ） (2026-04-27T11:23:18Z)
• Evidence Sufficiency Under Delayed Ground Truth: Proxy Monitoring for Risk Decision Systems [0.0]
  本稿では,4次元(完全性,新鮮性,信頼性,代表性)と意思決定対応ゲートを備えたエビデンスモデルの定式化を行う。 補完的なプロキシインジケータフレームワークは、ラベルなしで十分劣化を推定する。 このフレームワークは、ガバナンスの十分な監視手段に貢献している。
  論文  参考訳（メタデータ） (2026-04-17T06:30:11Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Noise & pattern: identity-anchored Tikhonov regularization for robust structural anomaly detection [58.535473924035365]
  異常検出は自動産業検査において重要な役割を担い、他の均一な視覚パターンの微妙な欠陥や稀な欠陥を識別することを目的としている。 自己教師型オートエンコーダを用いて, 破損した入力の修復を学習する構造的異常検出に取り組む。 構造欠陥を模倣した画像に人工的破壊を注入する汚職モデルを導入する。
  論文  参考訳（メタデータ） (2025-11-10T15:48:50Z)
• Dual-Mode Deep Anomaly Detection for Medical Manufacturing: Structural Similarity and Feature Distance [2.467339701756281]
  本稿では,2つの注意誘導型オートエンコーダアーキテクチャを提案する。 1つ目は、軽量でリアルタイムな欠陥検出を可能にする構造的類似性に基づくスコアリングアプローチである。 第二に、Mahalanobis を用いた特徴距離ベースの戦略を、遅延特性の低減に応用する。
  論文  参考訳（メタデータ） (2025-09-06T18:17:40Z)
• Hysteresis Compensation of Flexible Continuum Manipulator using RGBD Sensing and Temporal Convolutional Network [2.387821008001523]
  ケーブル駆動マニピュレータは、摩擦、伸縮、結合などのキャブリング効果によって制御困難に直面している。 本稿では、ディープニューラルネットワーク(DNN)に基づくデータ駆動型アプローチを提案し、これらの非線形および過去の状態依存特性を捉える。 この手法を実際の手術シナリオに適用することで、制御精度を高め、手術性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-17T16:20:59Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。