論文の概要: Query-Adaptive Neuron Steering for LLMs

• arxiv url: http://arxiv.org/abs/2610.14519v1
• Date: Sat, 10 Oct 2026 03:30:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 13:06:30.117603
• Title: Query-Adaptive Neuron Steering for LLMs
• Title（参考訳）: LLMのためのクエリ適応型ニューロンステアリング
• Abstract要約: 大規模言語モデルのためのクエリ適応型ニューロンステアリングフレームワークQ-NeuSを提案する。 Q-NeuSはどのニューロンがどの入力を調節するかを動的に決定する。 モデルパフォーマンスを継続的に改善し、モデルスケールにまたがる幅広い適用性を示す。
• 参考スコア（独自算出の注目度）: 21.431749537759092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effectively eliciting the capabilities of large language models (LLMs) at inference time remains an important challenge. Existing studies address this challenge through context engineering, which shapes user queries, or fixed steering, which directly intervenes in model computation. However, predefined contexts and fixed intervention strategies may not adequately accommodate the diverse knowledge and reasoning requirements of individual queries. This raises a natural question: Can internal steering in LLMs be made query-adaptive? In this work, we investigate whether query-induced internal activations can guide adaptive steering in LLMs. Our pilot studies reveal subject- and layer-dependent neuron activation patterns and show that amplifying subject-relevant neurons can improve model performance. Based on these findings, we propose Q-NeuS, a query-adaptive neuron steering framework that dynamically determines which neurons to modulate and by how much for each input. Specifically, Q-NeuS constructs a compact subject-guided candidate neuron space and employs a lightweight Query-Adaptive Gate to generate neuron-wise modulation coefficients. To learn effective intervention strategies, we introduce Neu-GRPO, which adapts group-relative optimization to train the Query-Adaptive Gate using the relative performance of multiple neuron intervention configurations. The base LLM remains frozen throughout training and inference, and no task or subject labels are required at inference time. Extensive experiments across multiple LLMs and benchmarks demonstrate that Q-NeuS consistently improves model performance and exhibits broad applicability across model scales and strong cross-benchmark transferability.
• Abstract（参考訳）: 推論時に大きな言語モデル(LLM)の能力を効果的に引き出すことは、依然として重要な課題である。 既存の研究では、ユーザクエリを形作るコンテキストエンジニアリングや、モデル計算に直接介入する固定ステアリングを通じて、この問題に対処している。 しかし、事前定義されたコンテキストと固定された介入戦略は、個々のクエリの多様な知識と推論要求に適切に適合しないかもしれない。 LLMの内部のステアリングはクエリ適応可能か? 本研究では,LLMにおけるクエリによる内部アクティベーションがアダプティブステアリングを誘導するかどうかを検討する。 実験では、主観および層依存性ニューロン活性化パターンを明らかにし、主観関連ニューロンの増幅がモデル性能を向上させることを示す。 これらの知見に基づいて,どのニューロンがどのニューロンを調節するかを動的に決定するクエリ適応型ニューロンステアリングフレームワークであるQ-NeuSを提案する。 具体的には、Q-NeuSは、コンパクトな主観誘導型候補ニューロン空間を構築し、軽量なQuery-Adaptive Gateを用いてニューロンワイド変調係数を生成する。 我々は,複数のニューロン介入構成の相対的性能を用いて,グループ相対最適化を適用してクエリ適応ゲートを訓練するNeu-GRPOを導入する。 ベースLSMはトレーニングと推論を通じて凍結し続けており、推論時にタスクや主題のラベルは不要である。 複数のLLMおよびベンチマークにわたる大規模な実験により、Q-NeuSはモデル性能を一貫して改善し、モデルスケールにまたがる広範な適用性と強力なクロスベンチマーク転送性を示すことが示された。

関連論文リスト

• SHIFT: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation [45.618428862766365]
  検索された文脈とパラメトリック知識の対立は、RAGシステムにおいて重要な課題となっている。 本稿では,ニューロンレベルの修飾を学習可能なゲート変調として再構成する新しいフレームワークShiFTを紹介する。
  論文  参考訳（メタデータ） (2026-06-26T07:17:11Z)
• NeuroLoRA: Context-Aware Neuromodulation for Parameter-Efficient Multi-Task Adaptation [23.036082606498564]
  Low-Rank Adaptation (LoRA)は、下流タスクにLarge Language Models (LLM)を適用するために欠かせないものとなっている。 最近のFlyLoRAフレームワークは、バイオインスパイアされたスパースランダムプロジェクションを利用してパラメータ干渉を緩和する。 生体神経調節に触発された新しいMixture-of-Experts(MoE)ベースのLoRAフレームワークであるNeuroLoRAを提案する。 NeuroLoRAは、シングルタスク適応、マルチタスクモデルのマージ、シーケンシャルな連続学習シナリオにおいて、FlyLoRAや他の強力なベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-03-12T18:57:20Z)
• Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer [65.72553715508691]
  我々は,多段階の推論と構成決定を必要とするタスクにおいて,LVLMが強いテキストのみの大規模言語モデル(LLM)に遅れていることを示す。 LLMからLVLMへ成熟型推論回路を転送するパラメータ効率の高いフレームワークである共有ニューロン低ランク融合(SNRF)を提案する。 その結果、共有ニューロンはLLMとLVLMの間の解釈可能なブリッジを形成し、低コストでマルチモーダルモデルへの推論能力の移行を可能にした。
  論文  参考訳（メタデータ） (2026-02-22T06:04:05Z)
• Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
  本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-27T17:53:01Z)
• SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
  敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。 オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。 予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
  論文  参考訳（メタデータ） (2025-09-12T02:53:57Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation [6.233189707488025]
  ニューロモルフィックハードウェア上のニューラルネットワークは、非喫煙者よりも消費電力の少ないオーダーを約束する。 このようなシステム上でのスパイクベースの計算のための標準的なニューロンモデルは、長い間、統合と火災(LIF)ニューロンであった。 いわゆるアダプティブLIFニューロンの根源はよく分かっていない。
  論文  参考訳（メタデータ） (2024-08-14T12:49:58Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。