論文の概要: From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification

• arxiv url: http://arxiv.org/abs/2610.25700v1
• Date: Mon, 19 Oct 2026 02:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:15:40.841187
• Title: From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification
• Title（参考訳）: ブラックボックスからコントローラへ:特徴増幅によるLCMの推論時間ステアリング
• Abstract要約: 推論時ステアリングは、現実世界のアプリケーションに大規模言語モデル(LLM)をデプロイするために不可欠である。 提案するNuroSteerは,LLMの選好を予測時に柔軟かつ定量的に調整することのできる,プラグアンドプレイフレームワークである。 我々の実験は、NeuroSteerが推論時に感情、毒性、姿勢、丁寧さを変えることができることを示した。
• 参考スコア（独自算出の注目度）: 18.194917546506037
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Inference-time steering is crucial for deploying Large Language Models (LLMs) in real-world applications, where they must flexibly adjust behavior preferences. For instance, a model should dynamically adjust its caution level based on the risk of the scenario. This requirement introduces a challenge: modulating the intensity of LLM preferences. Prompt engineering can require task-specific prompt design, while fine-tuning requires additional optimization and data. These requirements can make repeated behavioral adjustments costly. To address this, we introduce NeuroSteer, a plug-and-play framework that enables flexible, quantitative adjustment of LLM preferences at inference time. NeuroSteer employs a Sparse Autoencoder (SAE) as its controller. Comparing neuron activation frequencies between positive and negative examples isolates "feature neurons" that correspond to target preferences such as politeness and positive sentiment. During inference, the activations of selected SAE features are amplified in the latent representations to steer the output distribution. Users can adjust the strength of this steering on a per-scenario or per-user basis, granting the LLM fine-grained, quantifiable trait modulation. Our experiments show that NeuroSteer can alter sentiment, toxicity, stance, and politeness at inference time. It achieves higher target-direction steering scores than the compared baselines in several settings, with task- and strength-dependent trade-offs in generation quality.
• Abstract（参考訳）: 推論時ステアリングは、現実のアプリケーションにLLM(Large Language Models)をデプロイするために重要であり、振る舞いの好みを柔軟に調整する必要がある。 例えば、モデルはシナリオのリスクに基づいて、警告レベルを動的に調整する必要があります。 この要件は、LLM選好の強度を調節する、という課題を提起する。 プロンプトエンジニアリングはタスク固有のプロンプト設計を必要とするが、微調整にはさらなる最適化とデータが必要である。 これらの要件は、繰り返しの行動調整にコストがかかる可能性がある。 そこで我々はNuroSteerというプラグイン・アンド・プレイ・フレームワークを導入し,LLMの選好を予測時に柔軟かつ定量的に調整する手法を提案する。 NeuroSteerはSparse Autoencoder (SAE) をコントローラとして使用している。 正の例と負の例でニューロンの活性化周波数を比較すると、丁寧さや肯定的な感情といった標的的嗜好に対応する「機能ニューロン」を分離する。 推論中、選択されたSAE特徴の活性化を潜在表現に増幅し、出力分布を操る。 ユーザーは、このステアリングの強度をscenarioまたはper-userベースで調整することができ、LLMの微粒で定量化可能な特性変調を付与することができる。 我々の実験は、NeuroSteerが推論時に感情、毒性、姿勢、丁寧さを変えることができることを示した。 いくつかの設定で比較ベースラインよりも高い目標方向のステアリングスコアを達成し、タスクと強度に依存したトレードオフを生成品質で達成する。

関連論文リスト

• FleetPilot: Fine-Grained Steering Empowers Real-World LLM Personalization [51.242762264023675]
  Modelnameはきめ細やかなインスタンスに適したステアリングフレームワークです。 ユーザデータからサンプルレベルの干渉を生成し、モデルをフォワードパスに注入してパーソナライズする。 その結果,本手法は連続的に性能向上をもたらし,高速シフトおよびデータスパース環境において極めて優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2026-10-10T14:44:50Z)
• Query-Adaptive Neuron Steering for LLMs [21.431749537759092]
  大規模言語モデルのためのクエリ適応型ニューロンステアリングフレームワークQ-NeuSを提案する。 Q-NeuSはどのニューロンがどの入力を調節するかを動的に決定する。 モデルパフォーマンスを継続的に改善し、モデルスケールにまたがる幅広い適用性を示す。
  論文  参考訳（メタデータ） (2026-10-10T03:30:09Z)
• AMPS: Adaptive Modality Preference Steering via Functional Entropy [66.69992693275061]
  本稿では,各モータリティの情報提供量を定量化し,ステアリングに対するサンプル固有の感受性を明らかにするインスタンス認識診断指標を提案する。 実験結果から, インスタンス認識のステアリングは, 従来のステアリングよりもモダリティの嗜好の調整に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-13T02:29:06Z)
• Controllable and explainable personality sliders for LLMs at inference time [1.3688381983244782]
  連続多次元パーソナリティ制御のためのモジュラーフレームワークを提案する。 我々の重要な革新は、逐次適応ステアリング(SAS)である。これは、先行介入によってシフトした残流上のその後のプローブをトレーニングすることで、ステアリングベクトルを変換する手法である。 我々は,ビッグファイブの性格特性に関する枠組みを検証し,ゴール順守とコヒーレンスの両方において,ナイーブ・ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-10T08:16:59Z)
• SteerX: Disentangled Steering for LLM Personalization [75.89038195784701]
  大規模言語モデル(LLM)は近年顕著な成功を収めており、幅広いアプリケーションを可能にしている。 このようなアシスタントを構築する上で重要な要素は、ユーザの好みやニーズが多岐にわたるため、LLMをパーソナライズすることである。 本稿では、好みに依存しないコンポーネントから選好駆動コンポーネントを分離するSteerXを提案する。
  論文  参考訳（メタデータ） (2025-10-25T11:26:20Z)
• PITA: Preference-Guided Inference-Time Alignment for LLM Post-Training [9.093854840532062]
  PITAはLLMのトークン生成に直接好みフィードバックを統合する新しいフレームワークである。 PITAは、微調整をせずに、推論時にトークン確率を変更するための、小さな嗜好に基づくガイダンスポリシーを学習する。 我々は,数学的推論や感情分類など,多種多様なタスクにまたがるPITAを評価する。
  論文  参考訳（メタデータ） (2025-07-26T21:46:32Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs [8.085475675888045]
  アクティベーションステアリングは、推論時間制御の代替を提供する。 推論中に軽量でトレーニング可能なコントローラネットワークを組み込んだ新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T01:48:38Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
  パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。 我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
  論文  参考訳（メタデータ） (2024-07-11T17:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。