論文の概要: Deployable Per-Instance Multi-Layer Activation Steering for Large Language Models

• arxiv url: http://arxiv.org/abs/2608.08829v1
• Date: Sun, 09 Aug 2026 17:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.964467
• Title: Deployable Per-Instance Multi-Layer Activation Steering for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのデプロイ可能なインスタンスごとのマルチレイヤアクティベーションステアリング
• Abstract要約: アクティベーションステアリングは凍結した言語モデルの振る舞いを編集する。 インスタンスごとの多層選択をよく理解し、デプロイ可能にします。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering edits the behaviour of a frozen language model by adding a learned vector to its residual stream, and current practice fixes the injection layers globally per task. We argue that the best layers are an instance-level decision, and we make per-instance, multi-layer selection both well understood and deployable. On two open-weight 8B models and six binary persona traits, a per-instance oracle over layer subsets shows that the best layers vary from one input to the next: on most trait-model pairs, no fixed global layer set recovers the per-instance benefit. A greedy rule that ranks layers by single-layer marginal effect recovers nearly all of the oracle's benefit, but both must score candidate layers against the gold answer, so neither can run at deployment; the rule instead becomes the target a prompt-only predictor is trained to reproduce. Our deployable recipe needs no label at inference: a per-instance layer ranker read off the prompt embedding, a classifier that infers the steering direction, and an adaptive gate that scores short steered passes against that inferred direction and steers no more layers than necessary. The recipe recovers most of the oracle's lift (the bulk on the stronger model, a clear majority on the harder one), never drives any trait-model pair below its unsteered alignment baseline on average, and largely avoids the fluency collapse that strong global selection incurs at higher layer counts. A mechanistic account, "direction over magnitude", explains the behavioural flip under a mis-directed global set, the output collapse from steering too many layers, and the ceiling of unsteerable inputs.
• Abstract（参考訳）: アクティベーションステアリングは、学習ベクタを残りのストリームに追加することで、フリーズ言語モデルの振る舞いを編集する。 最高のレイヤはインスタンスレベルの決定であり、インスタンスごとの多層選択をよく理解し、デプロイ可能にします。 2つのオープンウェイトな8Bモデルと6つのバイナリなペルソナ特性では、インスタンスごとのオラクル層が1つの入力から次の入力へと変化する。 単層境界効果によって層をランク付けする強欲な規則は、オラクルの利益のほとんどを回復させるが、どちらも金の答えに対して候補層をスコア付けしなければならないため、どちらもデプロイ時に実行できない。 我々のデプロイ可能なレシピは、インスタンス層ごとのローカがプロンプト埋め込みを読み取り、ステアリング方向を推測する分類器と、短いステアリングパスをその推論方向に対してスコア付けし、それ以上の層をステアリングしない適応ゲートである。 このレシピは、オラクルのリフトのほとんど(より強いモデルではバルク、より硬いものでは明らかな多数)を回収し、平均的に非接触のアライメントベースラインよりも低い特性モデルペアを駆動することはない。 メカニスティックな説明は「大小の方向」であり、誤った方向のグローバルな集合の下での振舞い、あまりに多くの層を操ることによる出力の崩壊、そして制御不能な入力の天井を説明する。

関連論文リスト

• Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
  我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。 密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-06-20T07:03:26Z)
• Beyond the final layer: Attentive multilayer fusion for vision transformers [45.627646781613386]
  タスク関連情報は、最後のレイヤにのみエンコードされるのではなく、ネットワーク階層に分散されていることを示す。 視覚変換器のすべての層から動的に表現を融合する注意的探索機構を適用する。 このメカニズムは、ターゲットタスクの最も関連性の高いレイヤを特定し、低レベルの構造的キューと高レベルのセマンティック抽象化を組み合わせることを学習する。
  論文  参考訳（メタデータ） (2026-01-14T09:50:09Z)
• Hierarchical Alignment: Surgical Fine-Tuning via Functional Layer Specialization in Large Language Models [4.935224714809964]
  階層的アライメント(Hierarchical Alignment)は、モデルレイヤの異なる機能ブロックにターゲットDPOを適用する新しい手法である。 具体的には、局所的な層(ローカル・アライン)の整列は文法的な流感を高める。 グローバル層(Global-Align)の整合性は、仮説として事実整合性を改善するが、論理的コヒーレンスを強化するための最も効果的な戦略であることを証明している。
  論文  参考訳（メタデータ） (2025-10-14T00:58:34Z)
• Harnessing Superclasses for Learning from Hierarchical Databases [1.835004446596942]
  多くの大規模分類問題において、クラスは既知の階層に整理され、通常木として表される。 この種の教師付き階層分類の損失について紹介する。 提案手法では,クロスエントロピーの損失に比較して,計算コストの大幅な増大は伴わない。
  論文  参考訳（メタデータ） (2024-11-25T14:39:52Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models [61.363259848264725]
  Inherituneは、より小さく、より効率的な言語モデルを構築するための、シンプルで効果的なトレーニングレシピである。 Inherituneのトレーニングしたモデルは、レイヤーが大幅に少ないにもかかわらず、より大きなモデルにマッチしたり、性能を上回ります。
  論文  参考訳（メタデータ） (2024-04-12T17:53:34Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Enhancing Classification with Hierarchical Scalable Query on Fusion Transformer [0.4129225533930965]
  本稿では,学習可能な独立クエリ埋め込みによる階層的手法により,きめ細かい分類を向上する手法を提案する。 階層構造の概念を利用して、あらゆるレベルにわたってスケーラブルなクエリの埋め込みを学びます。 本手法は, 細粒度分類において, 従来の手法よりも11%の精度で性能を向上できる。
  論文  参考訳（メタデータ） (2023-02-28T11:00:55Z)
• Hidden State Variability of Pretrained Language Models Can Guide Computation Reduction for Transfer Learning [16.60284838029852]
  我々は、どのレイヤのサブセットに適応すべきか、タスク固有の選択ができるかどうかを検討する。 本稿では,タスク固有のコーパスを与えられた隠れ状態の可変性に基づいて,階層を選択することを提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:58:43Z)
• LV-BERT: Exploiting Layer Variety for BERT [85.27287501885807]
  我々は,事前学習モデルに有益である層型集合に畳み込みを導入する。 次に、事前学習による進化的アルゴリズムを採用し、最適なアーキテクチャを求める。 提案手法により得られたLV-BERTモデルは,様々な下流タスクにおいてBERTとその変種より優れる。
  論文  参考訳（メタデータ） (2021-06-22T13:20:14Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。