論文の概要: GAPS: Dimension-Level Gates for Conditional Activation Steering

• arxiv url: http://arxiv.org/abs/2609.01878v1
• Date: Tue, 01 Sep 2026 21:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:17.988151
• Title: GAPS: Dimension-Level Gates for Conditional Activation Steering
• Title（参考訳）: GAPS:条件付アクティベーションステアリング用次元レベルゲート
• Abstract要約: アクティベーションステアリングは、生成中に隠れた状態にステアリングベクトルを追加することで、言語モデルにおける望ましくない振る舞いを抑制する。 CASTやDSASのような最近の条件付き手法は、いつ介入するかを決めて行動能力のトレードオフを改善するが、一度アクティブになると、すべての隠れた次元に全密度ベクトルを適用する。 選択性の相補軸として次元レベルの条件付けを導入し,どのニューロンが介入するかを判断する。
• 参考スコア（独自算出の注目度）: 5.5832442227189425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering suppresses undesired behaviors in language models by adding a steering vector to the hidden state during generation. Recent conditional methods such as CAST and DSAS improve the behavior-capability trade-off by deciding when to intervene, but once active, they apply the full dense vector to all hidden dimensions, regardless of whether a neuron carries concept information or already lies in the desired regime. We introduce dimension-level conditioning as a complementary axis of selectivity that also decides which neurons to intervene on. Our method, GAPS (Gated Activation steering via Posterior and Separability), combines two training-free gates: a static separability gate that restricts steering to neurons with statistically reliable concept information (via AUROC), and a dynamic posterior gate that steers a neuron only when its current activation is better explained by the undesired concept under a Gaussian model. The gates add O(D) overhead per token, and they plug into existing conditional methods. On toxicity mitigation (RealToxicityPrompts) and concept removal (OneSeC) with Gemma-3 (4B) and Qwen-3 (1.7B), GAPS consistently matches or improves the Pareto front of its token-level counterparts; under a fixed capability budget, DSAS+GAPS reduces Gemma-3's toxicity rate from 6.52% to 0.48%, versus 3.52% for DSAS alone. Ablations attribute most of the gain to the posterior gate.
• Abstract（参考訳）: アクティベーションステアリングは、生成中に隠れた状態にステアリングベクトルを追加することで、言語モデルにおける望ましくない振る舞いを抑制する。 CASTやDSASのような最近の条件付き手法は、いつ介入するかを決定することによって行動能力のトレードオフを改善するが、一度アクティブになると、ニューロンが概念情報を持っているか、既に望ましい状態にあるかに関わらず、すべての隠れた次元に完全な密度ベクトルを適用する。 選択性の相補軸として次元レベルの条件付けを導入し,どのニューロンが介入するかを判断する。 本手法はGAPS (Gated Activation steering via Posterior and Separability) とGAPS (Gated Activation steering via Posterior and Separability) の2つの訓練自由ゲートを組み合わせたものである。 ゲートはトークンごとにO(D)オーバーヘッドを追加し、既存の条件メソッドにプラグインする。 毒性緩和(RealToxicityPrompts)と概念除去(OneSeC)をGemma-3 (4B) とQwen-3 (1.7B)で行うと、GAPSはトークンレベルのトークンのパレートを一貫して一致または改善し、DSAS+GAPSはGemma-3の毒性率を6.52%から0.48%に引き下げる。 アブレーションは、ほとんどの利得を後部ゲートに当てはめる。

関連論文リスト

• Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
  推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
  論文  参考訳（メタデータ） (2026-09-06T08:41:42Z)
• Just Noticeable Difference Modeling for Token Compression in Vision-Language-Action Models [62.522141464687195]
  本稿では,単に目立った差分(JND)の原理を具体化するためのアクションJNDを紹介する。 トークンの変化は、誘導された行動偏差が許容範囲内に留まっている場合にのみ許容できると考えられる。 結果として生じるアクション耐性スコアは、VLA圧縮パラダイムのプラグアンドプレイ基準として機能する。
  論文  参考訳（メタデータ） (2026-08-21T15:59:37Z)
• A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models [12.373460256583583]
  スパースオートエンコーダ(SAE)によるアクティベーションステアリングは、タスク固有の微調整なしで大きな言語モデルの動作制御を可能にするが、標準手法では生成されたトークン毎にステアリング信号を適用する。 確率$p$で各トークンを独立にゲートするToken Steering(STS)と、シーケンス毎に先頭ウィンドウをゲートするBlock Steering(SBS)を紹介する。 2つのモデルファミリーと2つの行動タスクにまたがって、トークンの50%しかステアリングを行なわず、フラエンシを保ちながら密接なステアリング効果のほとんどを回復させ、30%までステアリングはプロンプトベースの制御を超越する。
  論文  参考訳（メタデータ） (2026-07-06T20:25:27Z)
• Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
  大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。 既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。 記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
  論文  参考訳（メタデータ） (2026-06-17T07:29:18Z)
• Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models [2.464003792743989]
  アクティベーションステアリングは、大規模言語モデルの振る舞い制御のための微調整の軽量な代替手段を提供する。 非重みのないボルダのコンセンサスを通じてスパースな特徴をランク付けする,透明なSAE機能ステアリングパイプラインを導入する。 3つのGemmaファミリーモデル、4つの振舞いドメイン、356の層長構成で、測定可能なドメイン固有のシフトを生成する。
  論文  参考訳（メタデータ） (2026-06-05T19:27:31Z)
• Targeted Neuron Modulation via Contrastive Pair Search [0.0]
  ニューロンレベルの介入は、残留ストリーム法の品質トレードオフを伴わずに、信頼性の高い行動ステアリングを可能にする。 ベースモデルにも同様な遅延層識別構造があることがわかったが、これらのニューロンの操舵は内容シフトのみを生成する。 より広範に,アライメント微調整は,既存の識別構造をスパースかつターゲット可能な拒絶ゲートに変換することを示唆している。
  論文  参考訳（メタデータ） (2026-05-12T15:47:38Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits [0.0]
  我々はQwen 3.5-35B-A3Bの残流上に9個のスパースオートエンコーダ(SAE)を訓練する。 私たちは5つのエージェント的行動特性を識別し、管理するためにそれらを使用します。
  論文  参考訳（メタデータ） (2026-03-17T10:05:41Z)
• Dynamically Scaled Activation Steering [3.177576903071419]
  動的にスケールされたアクティベーションステアリング(DSAS)を導入します。これはメソッドに依存しないステアリングフレームワークで、ステアリングの仕方を分離します。 DSASは、層と入力間の既存の操舵変換の強度を適応的に調節し、望ましくない振る舞いが検出された場合にのみ強く介入する。
  論文  参考訳（メタデータ） (2025-12-03T10:50:15Z)
• Towards Effective, Stealthy, and Persistent Backdoor Attacks Targeting Graph Foundation Models [62.87838888016534]
  Graph Foundation Models(GFM)は、さまざまなソースドメインで事前トレーニングされ、目に見えないターゲットに適応する。 GFMに対するバックドア攻撃は、3つの主要な課題のために簡単ではない。 グラフ基礎モデルに対する新たなバックドア攻撃モデルであるGFM-BAを提案する。
  論文  参考訳（メタデータ） (2025-11-22T08:52:09Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。