論文の概要: NeuReasoner: Towards Explainable, Controllable, and Unified Reasoning via Mixture-of-Neurons

• arxiv url: http://arxiv.org/abs/2604.02972v1
• Date: Fri, 03 Apr 2026 11:20:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 17:20:24.458396
• Title: NeuReasoner: Towards Explainable, Controllable, and Unified Reasoning via Mixture-of-Neurons
• Title（参考訳）: NeuReasoner:Mixture-of-Neuronsによる説明可能な、制御可能な、統一された推論を目指して
• Authors: Haonan Dong, Kehan Jiang, Haoran Ye, Wenhao Zhu, Zhaolu Kang, Guojie Song,
• Abstract要約: 我々はNeuReasonerについて紹介する。NeuReasonerはニューロン(MoN)によって駆動される統一的推論フレームワークである。 NeuReasonerは最大27.0%のパフォーマンス向上を実現し、トークン消費を19.6% 63.3%削減した。
• 参考スコア（独自算出の注目度）: 25.628859853488862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) have recently achieved remarkable success in complex reasoning tasks. However, closer scrutiny reveals persistent failure modes compromising performance and cost: I) Intra-step level, marked by calculation or derivation errors; II) Inter-step level, involving oscillation and stagnation; and III) Instance level, causing maladaptive over-thinking. Existing endeavors target isolated levels without unification, while their black-box nature and reliance on RL hinder explainability and controllability. To bridge these gaps, we conduct an in-depth white-box analysis, identifying key neurons (Mixture of Neurons, MoN) and their fluctuation patterns associated with distinct failures. Building upon these insights, we propose NeuReasoner, an explainable, controllable, and unified reasoning framework driven by MoN. Technically, NeuReasoner integrates lightweight MLPs for failure detection with a special token-triggered self-correction mechanism learned via SFT. During inference, special tokens are inserted upon failure detection to actuate controllable remedial behaviors. Extensive evaluations across six benchmarks, six backbone models (8B~70B) against nine competitive baselines, demonstrate that NeuReasoner achieves performance gains of up to 27.0% while reducing token consumption by 19.6% ~ 63.3%.
• Abstract（参考訳）: 大規模推論モデル(LRM)は近年,複雑な推論タスクにおいて顕著な成功を収めている。 I) 計算や導出エラーを特徴とするステップ内レベル,II) 発振と停滞を伴うステップ間レベル,III) 誤適応的過剰思考を引き起こすインスタンスレベル。 既存の取り組みは統一されていない孤立レベルをターゲットにしているが、そのブラックボックスの性質とRLへの依存は説明可能性と制御性を妨げている。 これらのギャップを埋めるために、我々は、重要なニューロン(Mixture of Neurons, MoN)とその変動パターンを識別し、深いホワイトボックス分析を行う。 これらの知見に基づいて、我々は、MoNによって駆動される説明可能で制御可能で統一された推論フレームワークであるNeuReasonerを提案する。 技術的には、NeuReasonerは、障害検出のための軽量MPPと、SFTで学習した特別なトークントリガー付き自己補正機構を統合している。 推論中、特別なトークンが障害検出時に挿入され、制御可能な修復動作が起動される。 6つのベンチマーク、9つの競争ベースラインに対する6つのバックボーンモデル(8B~70B)の広範な評価は、NeuReasonerが最大27.0%のパフォーマンス向上を達成し、トークン消費を19.6%から63.3%削減したことを示している。

関連論文リスト

• Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
  大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。 我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。 3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
  論文  参考訳（メタデータ） (2026-04-02T05:30:20Z)
• ProbeLLM: Automating Principled Diagnosis of LLM Failures [89.44131968886184]
  ProbeLLMはベンチマークに依存しない自動探索フレームワークで、個々の障害から構造的障害モードへの脆弱性発見を増大させる。 ProbeLLMは、検証可能なテストケースにプローブを制限し、ツールの拡張された生成と検証を活用することで、信頼性のある証拠として障害発見を根拠とする。
  論文  参考訳（メタデータ） (2026-02-13T14:33:13Z)
• Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering [50.63386303357225]
  本稿では,ニューロンの活性化に選択的に介入することで推論信頼性を向上させる軽量なテストタイムフレームワークであるAdaRASを提案する。 AdaRASは、極性を意識した平均差基準を介してReasoning-Critical Neurons(RCN)を特定し、推論中にアクティベーションを適応的に制御する。 10の数学およびコーディングベンチマークの実験では、AIME-24とAIME-25の13%以上のゲインを含む一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-01-27T17:53:01Z)
• Deliberative Reasoning Network: An Uncertainty-Driven Paradigm for Belief-Tracked Inference with Pretrained Language Models [7.095344389368656]
  Deliberative Reasoning Network (DRN) は、確率から不確実性への論理的推論を再構成する新しいパラダイムである。 DRNは、信念状態を明示的に追跡し、競合する仮説の不確実性を定量化することによって、本質的な解釈可能性を達成する。 我々は、DRNを、より信頼できるAIシステムを構築するための、基礎的で検証可能なシステム2推論コンポーネントとして位置付ける。
  論文  参考訳（メタデータ） (2025-08-06T11:33:35Z)
• Lost at the Beginning of Reasoning [85.17612793300238]
  第1の推論ステップが最終予測に不当に大きな影響を与えることを示す。 本稿では、報酬モデルを利用して高品質な第1推論ステップを特定し、維持する効率的なサンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-27T09:53:57Z)
• SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning [95.28059121743831]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、複雑な推論タスクにおいて、大規模言語モデル(LLM)のトレーニングに有効であることが証明されている。 本稿では、モデル欠陥を体系的に識別し、それらを問題解決に活用する自己認識弱さ駆動型問題合成フレームワーク(SwS)を提案する。 SwSはモデルを自己識別し、RLの弱点に対処することで堅牢な一般化を可能にし、7Bモデルと32Bモデルで平均パフォーマンスが10.0%と7.7%向上した。
  論文  参考訳（メタデータ） (2025-06-10T17:02:00Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Understanding and Minimising Outlier Features in Neural Network Training [33.980628229566555]
  Outlier Features (OFs) は、ニューラルネットワーク(NN)の幅の平均よりも、アクティベーションがかなり大きいニューロンである。 建築と最適化の選択がOFに与える影響について検討し、トレーニング中のOFを最小化するための実践的な洞察を提供する。 新規な非正規化変圧器ブロック,outlier Protected blockを導入し,非対角型プリコンディショニングオプティマイザの既知の利点を示す。
  論文  参考訳（メタデータ） (2024-05-29T17:11:28Z)
• Feature Separation and Recalibration for Adversarial Robustness [18.975320671203132]
  本稿では,特徴分離と再校正という手法を提案する。 分離と再校正を通じて、より堅牢な機能マップのために、悪意のある非不正なアクティベーションを再校正する。 これにより、計算オーバーヘッドが小さいため、既存の敵の訓練手法の堅牢性は最大8.57%向上する。
  論文  参考訳（メタデータ） (2023-03-24T07:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。