論文の概要: $S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient

• arxiv url: http://arxiv.org/abs/2609.37976v1
• Date: Tue, 29 Sep 2026 16:44:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.752311
• Title: $S^3$: Spectral Null-Space Swap Makes Reasoning Models Efficient
• Title（参考訳）: S^3$: Spectral Null-Space SwapがReasoning Modelsを効率的にする
• Abstract要約: 推論能力のコアは、対応する非思考モデルの支配的な特異方向によって定義される射影のヌル空間内のシンキングモデルの重み成分にある。 我々は,ペアの非思考チェックポイントと思考チェックポイントのトレーニング不要な構成であるSpectral Null-Space Swap(S3$)を提案する。
• 参考スコア（独自算出の注目度）: 10.340803470613217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs trained with Chain-of-thought excel in reasoning capability, but often come with excessive token cost. We find that the core of reasoning capacity lies in the Thinking model's weight component within the null space of a projection defined by the corresponding Non-thinking model's dominant singular directions, and removing the subspace component can largely improve reasoning efficiency without hurting the accuracy gained during thinking-mode post-training. Unlike existing efforts that mostly operate within the dominant subspace, we are the first to unveil the critical role of the null space and harness it for model optimization. Motivated by this finding, we propose Spectral Null-Space Swap ($S^3$), a training-free composition of paired Non-thinking and Thinking checkpoints. Our method keeps the Non-thinking model inside its own dominant subspace and takes the Thinking checkpoint outside it, improving reasoning efficiency while maintaining accuracy. We extensively evaluate $S^3$ on 2B-30B dense and mixture-of-experts (MoE) architectures spanning 28 evaluation environments across mathematical, multimodal, and audio reasoning domains. $S^3$ establishes new empirical Pareto Frontiers among training-free model composition strategies: across all settings, it reduces inference token overhead by an average of 27.4% compared to full Thinking models while simultaneously improving overall task accuracy by 1.0 percentage point (e.g., yielding +8.3% accuracy on HMMT25 alongside a 33.0% token speedup). We further use attention entropy for explanation and find that the retained component produces more concentrated attention, and we use a simplified analytical model about optimization to demonstrate why null-space can effectively reduce attention entropy, thereby improving the efficiency of reasoning.
• Abstract（参考訳）: LLMは推論能力に優れているが、しばしば過剰なトークンコストが伴う。 推論能力のコアは、対応する非思考モデルの支配的な特異方向によって定義される射影のヌル空間内の思考モデルの重み成分にあり、サブスペース成分の除去は、思考モード後トレーニング時に得られる精度を損なうことなく、推論効率を大幅に向上させることができる。 支配的な部分空間内で主に動作する既存の取り組みとは異なり、我々はnull空間の重要な役割を初めて明らかにし、モデル最適化のためにそれを利用する。 この発見を動機として,ペアの非思考チェックポイントと思考チェックポイントのトレーニング不要な構成であるSpectral Null-Space Swap(S^3$)を提案する。 提案手法は,非思考モデルを自身の支配的部分空間内に保持し,思考チェックポイントを外に持ち出し,精度を維持しながら推論効率を向上する。 数理・マルチモーダル・オーディオ推論領域にまたがる28の評価環境にまたがる2B-30B高密度および混合専門家(MoE)アーキテクチャについてS^3$を広範囲に評価した。 すべての設定において、完全な思考モデルと比較して推論トークンのオーバーヘッドを平均27.4%削減し、同時に全体のタスク精度を1.0パーセンテージポイント(例えば、HMMT25では+8.3%の精度)を33.0%のトークンスピードアップで改善する。 我々はさらに、注意エントロピーを説明に用いて、保持成分がより集中的な注意を生み出すことを発見し、最適化に関する単純化された解析モデルを用いて、なぜnull空間が注意エントロピーを効果的に低減し、推論の効率を向上させることができるのかを示す。

関連論文リスト

• Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
  本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。 我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。 VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
  論文  参考訳（メタデータ） (2026-04-03T15:19:46Z)
• $\nabla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
  $nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。 $nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
  論文  参考訳（メタデータ） (2026-03-05T08:42:54Z)
• ENTRA: Entropy-Based Redundancy Avoidance in Large Language Model Reasoning [30.786062954495403]
  大規模な推論モデル(LRM)は、単純なタスクであっても必要以上に長い推論チェーンを生成するため、過度に考え直されることが多い。 本稿では,性能を保ちながら冗長な推論を抑制するエントロピーベースのトレーニングフレームワークであるENTRAを提案する。
  論文  参考訳（メタデータ） (2026-01-12T01:26:30Z)
• EpiCaR: Knowing What You Don't Know Matters for Better Reasoning in LLMs [9.412828452977553]
  既存のアプローチは成功した推論パスを強化し、かなりのキャリブレーションコストを発生させる。 この失敗は、アライメントにおけるモデル崩壊の一形態として特徴づけられている。 推論性能とキャリブレーションを協調的に最適化する訓練目標として,EpiCaRを提案する。
  論文  参考訳（メタデータ） (2026-01-11T06:21:13Z)
• In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
  InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。 InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。 その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
  論文  参考訳（メタデータ） (2025-11-13T01:47:06Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• Don't Think Longer, Think Wisely: Optimizing Thinking Dynamics for Large Reasoning Models [68.96619605651155]
  大規模推論モデル(LRM)は、過度に考えることによって出力長を大幅に増加させる可能性がある。 モデル生成推論経路を異なる思考パターンに分割する動的最適化フレームワークを提案する。 提案手法は, 最大12%の精度向上を実現し, トークン使用量を約5,000から3,000に削減する。
  論文  参考訳（メタデータ） (2025-05-27T20:59:29Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• VAPO: Efficient and Reliable Reinforcement Learning for Advanced Reasoning Tasks [49.0793012627959]
  本稿では,価値に基づくパラダイム内での推論モデルに適した新しいフレームワークVAPOを提案する。 VAPOは最先端のスコアが$mathbf60.4$に達する。 同じ実験条件下で直接比較すると、VAPOはDeepSeek-R1-Zero-Qwen-32BとDAPOの結果を10点以上上回っている。
  論文  参考訳（メタデータ） (2025-04-07T14:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。