論文の概要: Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering

• arxiv url: http://arxiv.org/abs/2601.19847v1
• Date: Tue, 27 Jan 2026 17:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.425678
• Title: Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering
• Title（参考訳）: 共鳴-臨界ニューロンの同定と移動 : 活性化ステアリングによるLLM推論信頼性の向上
• Authors: Fangan Dong, Zuming Yan, Xuri Ge, Zhiwei Xu, Mengqi Zhang, Xuanang Chen, Ben He, Xin Xin, Zhumin Chen, Ying Zhou,
• Abstract要約: 本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 50.63386303357225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the strong reasoning capabilities of recent large language models (LLMs), achieving reliable performance on challenging tasks often requires post-training or computationally expensive sampling strategies, limiting their practical efficiency. In this work, we first show that a small subset of neurons in LLMs exhibits strong predictive correlations with reasoning correctness. Based on this observation, we propose AdaRAS (Adaptive Reasoning Activation Steering), a lightweight test-time framework that improves reasoning reliability by selectively intervening on neuron activations. AdaRAS identifies Reasoning-Critical Neurons (RCNs) via a polarity-aware mean-difference criterion and adaptively steers their activations during inference, enhancing incorrect reasoning traces while avoiding degradation on already-correct cases. Experiments on 10 mathematics and coding benchmarks demonstrate consistent improvements, including over 13% gains on AIME-24 and AIME-25. Moreover, AdaRAS exhibits strong transferability across datasets and scalability to stronger models, outperforming post-training methods without additional training or sampling cost.
• Abstract（参考訳）: 近年の大規模言語モデル (LLM) の強い推論能力にもかかわらず、困難なタスクにおいて信頼性の高い性能を達成するには、訓練後や計算コストのかかるサンプリング戦略が必要であり、実用的効率を抑える必要がある。 本研究では,LLMのニューロンの小さな部分集合が,推論の正しさと強い予測的相関を示すことを示す。 本稿では,ニューロンの活性化を選択的に介入することによって推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均偏差基準を介してReasoning-Critical Neurons(RCN)を同定し、推論中にアクティベーションを適応的に制御し、不正確な推論トレースを増大させ、既に正しいケースの劣化を回避している。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。 さらに、AdaRASは、データセット間の強い転送可能性と、より強力なモデルへのスケーラビリティを示し、追加のトレーニングやサンプリングコストを伴わずに、トレーニング後の方法よりも優れている。

関連論文リスト

• Uncertain but Useful: Leveraging CNN Variability into Data Augmentation [1.137457877869062]
  CNNベースの全脳分節パイプラインであるFastSurferを用いて、トレーニング時間変動について検討する。 我々は、FastSurferが従来のニューロイメージングパイプラインよりも高いばらつきを示すことを発見した。 概念実証として,脳年齢回帰のためのデータ拡張戦略として数値アンサンブルを用いることができることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:54:26Z)
• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.931194824519935]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。