論文の概要: When Should an LLM Steering Edit Depend on the Input?

• arxiv url: http://arxiv.org/abs/2611.04757v1
• Date: Tue, 03 Nov 2026 12:08:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-09 13:38:03.263902
• Title: When Should an LLM Steering Edit Depend on the Input?
• Title（参考訳）: LLMのステアリング編集は入力に依存するべきか?
• Abstract要約: ステアリング編集における入力依存性の増加の影響について検討した。 6つの置換コーパスにおける入力依存型ステアリングの測定を行った。 入力依存型ステアリングは、クラス内で目的地が変化する場合、固定方向ステアリングよりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: An activation steering edit should depend on the input exactly when the destination varies \emph{inside} the class a query requests, and that is measurable before any rule is fitted or applied. Contrastive Activation Addition (CAA) adds one fixed direction to every input, the difference of the class means. Conditioning it on the requested class accounts for the between-class variation in the required displacement and leaves the within-class variation untouched, which no rule that reads only the source state can express. We study the impact of increasing input-dependence in the steering edit, moving from a difference of means to a destination retrieved per query --- the mean of the $k$ stored states nearest the query, inside the requested class --- in which the two baselines are endpoints: at $k$ equal to the class size the retrieved rule \emph{is} the class-conditional difference of means. We measure input-dependent steering on six substitution corpora that vary in whether the edit changes a word or a clause, and on an external benchmark, and find that input-dependent steering outperforms fixed-direction steering when the destination varies within the class. Retrieval wins at every layer of every substitution corpus in two models, and the level of input-dependence needed governs how to apply it: word-level edits are best made in the first tenth of the network from a few neighbours, clause-level edits at any depth from the class mean. Where the class already determines the answer the class mean suffices and retrieval only matches it, though a fixed direction still fails there. Four quantities computed from the states alone identify the regime in which the edit should be applied.
• Abstract（参考訳）: アクティベーションステアリング編集は、宛先がクエリ要求のクラス \emph{inside} を変更するとき、正確に入力に依存していなければならない。 対照的な活性化付加(CAA)は、各入力に対して1つの固定方向、すなわちクラス平均の差を付加する。 要求されたクラスにそれを条件付けすることは、要求された変位のクラス間の変化を考慮し、ソース状態のみを読み込むルールが表現できないクラス内の変化を未修正のまま残します。 我々は、入力依存性の増加によるステアリング編集の影響について検討し、平均値からクエリ毎の検索先への移動 ---要求されたクラス内のクエリに最も近い$k$の格納状態の平均 -- において、2つのベースラインがエンドポイントである場合:$k$は、検索されたルール \emph{is} のクラス条件の違いに等しい。 入力依存型ステアリングは、6つの置換コーパスに対して、編集が単語や節を変更するかどうか、および外部ベンチマークで測定し、目的地がクラス内で変化する場合に、入力依存型ステアリングが固定方向ステアリングより優れていることを確認する。 Retrievalは2つのモデルの置換コーパスのすべての層で勝利し、必要な入力依存性のレベルがそれを適用する方法を決定する。 クラスが解答をすでに決定している場合、クラスの平均値と検索値はそれと一致しますが、固定方向はまだ失敗します。 州だけで計算された4つの量により、編集が適用される体制が特定される。

関連論文リスト

• DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels [79.15943142158518]
  本研究では,テキストで指定された一般的な命令に従う程度を詳細に数値的に制御する「ステアブル言語モデル」について検討する。 既存のアプローチは、様々な命令にわたってきめ細かな制御、効率、スケーラビリティを共同で提供するものではない。 DIAL(Distilled Instruction-Adherence Levels)を導入し、3つの特性をすべて実現した。
  論文  参考訳（メタデータ） (2026-10-22T15:34:39Z)
• Narrow Decision Models: A System-1 Architecture for Calibrated, Typed Decisions [2.620686844328898]
  System Oneモデルは、生成されたテキストの代わりにキャリブレーションされた確率を持つ状態に関する型付き質問に答える。 NDM(Narrow Decision Model)は同じインターフェースを提供するが、ひとつの組織の決定のためにトレーニングされている。 NDMは独自のインフラストラクチャ上で動作可能なほど小さく、プロパティを記述およびテスト可能なオープンアーキテクチャを備えている。
  論文  参考訳（メタデータ） (2026-10-18T21:49:35Z)
• IDEEA: training-free Input-Dependent stEEring via Activation cluster matching [19.096726931082017]
  IDEEAは入力依存型ステアリングのためのトレーニング不要のフレームワークである。 推論時に選択したアクティベーションにバイアスを注入することで、大きな言語モデルを整列させる。 TruthfulQAの真理$times$インフォメーションレートを、最高の入力非依存ベースラインよりも平均9.9%(最大23.5%)改善する。
  論文  参考訳（メタデータ） (2026-09-02T04:28:39Z)
• Selective State-Space Adaptation and Retrieval for Language Model Reasoning [5.8120627413404184]
  2つの相補的な粒度で選択的な状態空間再帰を導入するアダプタ群が提案されている。 textbfMaLoRA (Mamba-modulated Low-rank adaptation) は、アダプタのスケーリング係数をトークン間での繰り返し状態を持つ動的入力依存関数にする。
  論文  参考訳（メタデータ） (2026-07-21T17:47:57Z)
• Unsupervised Candidate Ranking for Lexical Substitution via Holistic Sentence Semantics [2.4367870496223363]
  語彙置換におけるキーサブタスクは、与えられた候補単語をランク付けする。 本稿では,原文と代用文のセマンティックな類似性を取り入れ,候補をランク付けする2つの手法を提案する。 LS07とSWORDSデータセットの実験では、両方のアプローチがランク付け性能を改善することが示されている。
  論文  参考訳（メタデータ） (2025-09-15T01:57:09Z)
• Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
  リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。 利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
  論文  参考訳（メタデータ） (2022-12-21T04:49:55Z)
• On Universal Black-Box Domain Adaptation [53.7611757926922]
  実践的な展開という観点から,ドメイン適応の最小限の制約条件について検討する。 ソースモデルのインターフェースのみがターゲットドメインで利用可能であり、2つのドメイン間のラベル空間関係が異なることや未知であることが許されている。 対象試料の局所近傍における予測の整合性によって正規化された自己訓練フレームワークに統一することを提案する。
  論文  参考訳（メタデータ） (2021-04-10T02:21:09Z)
• Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details [107.2722027807328]
  我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
  論文  参考訳（メタデータ） (2021-02-01T18:56:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。