論文の概要: Component and Dimension Sparsity in Transformer Refusal Mechanisms

• arxiv url: http://arxiv.org/abs/2610.06903v1
• Date: Wed, 30 Sep 2026 23:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.462084
• Title: Component and Dimension Sparsity in Transformer Refusal Mechanisms
• Title（参考訳）: 変圧器のリフレクション機構における成分と寸法のばらつき
• Abstract要約: アクティベーションステアリングは、内部のアクティベーションに介入することで、大きな言語モデルの振る舞いを制御する。 4つのオープンウェイトモデルにまたがるコンポーネントレベルの介入に、リファレルステアリングを分解する。
• 参考スコア（独自算出の注目度）: 68.6633075989334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering manipulates large language model behavior by intervening on internal activations, but the mechanistic basis of these interventions remains poorly understood. We decompose refusal steering into component-level interventions across four open-weight models, identifying the sparse subsets of attention and MLP components whose steering suffices to reproduce the full behavioral effect. We find that refusal directions concentrate in sparse component mechanisms comprising 28--48\% of upstream components, retaining 88--101\% of steering effectiveness. Within these mechanisms, effective steering further concentrates in approximately 50\% of residual stream dimensions, retaining 85--98\% of the component-mechanism baseline, consistent with a privileged basis structure. Sparsity thus operates at two levels: which components are steered, and which dimensions within those components carry the signal. Together these findings show that refusal is not diffusely encoded across a transformer but assembled by a structured, identifiable mechanism, providing a foundation for mechanistic understanding of how refusal behaviors are represented and steered. To facilitate reproducibility, we release all code and raw experimental results in https://github.com/wang-research-lab/Refusal_Mechanisms.
• Abstract（参考訳）: アクティベーションステアリングは、内部のアクティベーションに介入することで、大きな言語モデル行動を制御するが、これらの介入の力学的基礎は理解されていない。 本研究は4つのオープンウェイトモデルにまたがるコンポーネントレベルの介入に分解し,全行動効果を再現するのに十分である注意サブセットとMLPコンポーネントを同定する。 その結果, 逆方向は上流成分の28～48%を含むスパース成分機構に集中しており, 操舵効率は88～101%であることがわかった。 これらのメカニズムの中では、有効ステアリングは残留ストリーム次元の約50\%に集中し、特権的基盤構造と整合したコンポーネント-メカニズムベースラインの85-98\%を保持する。 これにより、スパシティは、どのコンポーネントがステアリングされ、そのコンポーネント内のどの次元が信号を運ぶかという2つのレベルで動作する。 これらの結果から, 反則は変圧器全体に拡散的に符号化されるのではなく, 構造的, 識別可能な機構によって構成され, 反則の表現や操舵方法の機械的理解の基礎となることが示唆された。 再現性を高めるため、すべてのコードと生の実験結果をhttps://github.com/wang-research-lab/Refusal_Mechanismsでリリースします。

関連論文リスト

• What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
  異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。 その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:57:14Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• Steering at the Source: Style Modulation Heads for Robust Persona Control [1.842570462253593]
  アクティベーションステアリングは、微調整なしで大規模言語モデル(LLM)を制御するための計算効率の良いメカニズムを提供する。 本研究は,ペルソナとスタイル形成を独立して管理する,注目の少ないサブセットを同定する。 本研究は,これら特定の頭部のみを標的とした介入が,残留ストリームステアリングで観察されるコヒーレンシ劣化を著しく軽減しつつ,頑健な行動制御を実現することを実証する。
  論文  参考訳（メタデータ） (2026-02-24T07:26:50Z)
• Steer2Edit: From Activation Steering to Component-Level Editing [24.755027943286432]
  我々は、ステアリングベクトルをコンポーネントランク1の重み付けのための診断信号に変換する、トレーニング不要のフレームワークであるSteer2Editを提案する。 安全性のアライメント、属性緩和、推論効率などを通じて、Steer2Editは一貫して、より好ましい属性ユーティリティトレードオフを実現している。 全体として、Steer2Editは表現ステアリングとウェイト編集の間に原則化されたブリッジを提供する。
  論文  参考訳（メタデータ） (2026-02-10T15:15:15Z)
• Fine-Grained Activation Steering: Steering Less, Achieving More [33.680685349571]
  アクティベーションステアリングは、大規模言語モデル(LLM)の振る舞いを変更するためのコスト効率のパラダイムとして登場した。 ブロックレベルのアクティベーションは本質的に異種であり,有益であり,無関係であり,有害であることを示す。 我々はAUSteerを提案する。AUSteerはAUレベルのより微細な粒度で動作するシンプルで効率的な方法である。
  論文  参考訳（メタデータ） (2026-02-04T11:03:01Z)
• Mechanistic Indicators of Steering Effectiveness in Large Language Models [3.635648354808971]
  アクティベーションベースのステアリングにより、大規模言語モデルでは、トレーニングをせずに中間的アクティベーションに介入することで、ターゲットとなる振る舞いを表現できる。 広く使われているにもかかわらず、操舵が成功または失敗する際の機械的要因はいまだに理解されていない。 ステアリングの信頼性を内部モデル信号を用いて診断できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-02T06:56:22Z)
• Gate-based spin readout of hole quantum dots with site-dependent $g-$factors [101.23523361398418]
  ゲート型反射率計を用いたスピンリードアウトによりシリコン中の二重量子ドットを実験的に検討した。 磁気分光法により生じる反射位相信号の特徴は,2点のサイト依存の$g-$factorに関する情報を伝達する。
  論文  参考訳（メタデータ） (2022-06-27T09:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。