論文の概要: Do Emergent Misalignment Models Share a Circuit?

• arxiv url: http://arxiv.org/abs/2610.20887v1
• Date: Wed, 14 Oct 2026 20:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.057773
• Title: Do Emergent Misalignment Models Share a Circuit?
• Title（参考訳）: 創発的ミスアライメントモデルは回路を共有するか?
• Abstract要約: 狭義の有害なタスクに関する微調整言語モデルは、無関係な領域にわたる創発的ミスアライメント(EM)を引き起こす可能性がある。 本稿では,有害な医療アドバイス,リスクのある金融アドバイス,極端なスポーツレコメンデーションに基づくQwen2.5-3B-Instructの3つのLORAファインチューンを用いて検討する。 それぞれの有機体が選択した5つの頭部貢献をベースコントリビューションに置き換えると、フリージェネレーションEMは38.9%から22.9%に減少し、ファイナンスでは50.7%から12.5%に、スポーツでは41.7%から11.1%に減少し、判定された一貫性を損なうことなく、階層的に整合したランダムな介入より優れている。
• 参考スコア（独自算出の注目度）: 0.7734726150561086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning language models on narrowly defined harmful tasks can induce emergent misalignment (EM) across unrelated domains. While prior work has identified shared misalignment-associated representations across independently fine-tuned models, it remains unclear whether these models rely on common computational components. We investigate this question using three LoRA fine-tunes of Qwen2.5-3B-Instruct trained on harmful medical advice, risky financial advice, and extreme-sports recommendations. Using direction-based activation tracing, we identify three attention-head locations shared among the five highest-ranked heads of all three organisms. Replacing each organism's five selected head contributions with Base contributions reduces free-generation EM from 38.9% to 22.9% for medical, 50.7% to 12.5% for finance, and 41.7% to 11.1% for sports, outperforming layer-matched random interventions without reducing judged coherence. Cross-organism activation transfer further shows that the shared heads exhibit partially interchangeable effects on fixed-response preference. These findings provide evidence that representational convergence in EM extends to shared, causally relevant attention-head components within a common model architecture.
• Abstract（参考訳）: 狭義の有害なタスクに関する微調整言語モデルは、無関係な領域にわたる創発的ミスアライメント(EM)を引き起こす可能性がある。 先行研究では、独立に微調整されたモデル間での共用ミスアライメント関連表現が特定されているが、これらのモデルが共通の計算成分に依存しているかどうかは不明である。 本稿では,有害な医療アドバイス,リスクのある金融アドバイス,極端なスポーツレコメンデーションに基づくQwen2.5-3B-Instructの3つのLORAファインチューンを用いて検討する。 方向に基づくアクティベーション追跡を用いて,3種の生物の5つの最高位の頭部に共通する3つのアテンションヘッドの位置を同定した。 それぞれの生物が選択した5つの頭部の貢献をベースコントリビューションに置き換えることで、フリージェネレーションEMは38.9%から22.9%に減少し、ファイナンスでは50.7%から12.5%、スポーツでは41.7%から11.1%に減少し、判定された一貫性を損なうことなく、階層的に整合したランダムな介入よりも優れている。 微生物間の活性化移動は、共有ヘッドが部分的に相互に相互作用し、固定応答の嗜好に影響を及ぼすことを示す。 これらの結果は、EMにおける表現収束が共通のモデルアーキテクチャ内で共有され、因果関係の注意深いコンポーネントにまで拡張することを示す。

関連論文リスト

• NeuronDiscover: Agent-in-Twin for Mechanistic Discovery in Neuronal Microenvironments with World Action Models [3.8107412342726406]
  神経微小環境における機械的発見は、溶質輸送と神経反応の競合する説明を分離する介入と測定を必要とする。 我々は、この双対の共起と合体機構に関する理性を定式化し、両者を分離する実験を設計する。 NeuronDiscoverはAgent-in-Twinフレームワークで、共用、メカニズムに基づくワールドアクションモデル(WAM)は、予測、介入提案、観察設計を結合する。 本研究では, 個別に凍結したファインラー・メッシュ・レファレンス・レファレンス・ソルバーが適応する脳-流体トレーサー・トランスポートの世界と, ドナー・ディスジョイントによる皮質ニューロンの電流・クランプ記録について検討した。
  論文  参考訳（メタデータ） (2026-09-28T14:58:12Z)
• Training-Free Knowledge Transfer Across Model Scales through Activation-Guided Pruning [5.86953159718795]
  アーキテクチャ上のミスマッチに拘わらず,より強力なドナーを持つ小型の受取言語モデルを改善するという,未探索のクロススケール環境について検討する。 本研究は,ニューロンのセマンティックアライメントを明示することなく,有用な機能を伝達できるかどうかを問う。 クロススケール核融合のための活性化誘導フレームワークである Activation-Prune Activation-Merge (APM) を提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:51:09Z)
• D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities [54.87947751720332]
  欠落モード設定下での安定した性能を維持するために,新しいセグメンテーションモデルD3Segを提案する。 提案モデルでは, 腫瘍造影法 (ET) で約1.5～2.0%, 腫瘍コア法 (TC) で約1.0%, 複数の欠損モードで約1.0%を達成している。
  論文  参考訳（メタデータ） (2026-05-21T09:55:42Z)
• GSAR: Typed Grounding for Hallucination Detection and Recovery in Multi-Agent LLMs [0.0]
  クレームを4方向のタイポロジー(接地,非接地,矛盾,相補的)に分割する基盤性フレームワークを提案する。 GSARは、明示的な計算予算の下で、結合された回復を伴うエビデンス型スコアリングを結合した最初の基盤フレームワークである。
  論文  参考訳（メタデータ） (2026-04-25T16:20:28Z)
• Surg-R1: A Hierarchical Reasoning Foundation Model for Scalable and Interpretable Surgical Decision Support with Multi-Center Clinical Validation [51.897472694590356]
  Surg-R1は4段階のパイプラインで訓練された階層的推論によってギャップに対処する手術的視覚言語モデルである。 提案手法では,(1)知覚的根拠,関係理解,文脈的推論に外科的解釈を分解する3段階の推論階層,(2)320,000の推論ペアを持つ最大の外科的チェーン・オブ・シークエンス・データセット,の3つの重要な貢献を紹介する。
  論文  参考訳（メタデータ） (2026-03-12T20:26:28Z)
• Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence [0.0]
  SAE特徴と下流応答を損なうことで因果回路をトレースする手法を提案する。 我々はGeneformer V2-316M と scGPT に4つの条件で適用した。
  論文  参考訳（メタデータ） (2026-03-02T11:21:44Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• DRBD-Mamba for Robust and Efficient Brain Tumor Segmentation with Analytical Insights [54.87947751720332]
  脳腫瘍の正確なセグメンテーションは、臨床診断と治療に重要である。 マンバを拠点とするState Space Modelsは、有望なパフォーマンスを示している。 本稿では,計算オーバーヘッドを最小限に抑えながら,マルチスケールの長距離依存関係をキャプチャするマルチ解像度双方向マンバを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:31:21Z)
• Mitigate One, Skew Another? Tackling Intersectional Biases in Text-to-Image Models [73.20190633746442]
  テキスト・ツー・イメージ・モデルにおけるバイアス相互作用を解析・定量化するための新しいツールであるBiasConnectを紹介する。 ユーザが定義した目標分布と優先度重みを導出する交叉バイアス緩和アルゴリズムであるInterMitを提案する。
  論文  参考訳（メタデータ） (2025-05-22T20:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。