Fugu-MT 論文翻訳(概要): Efficient Reasoning via Constrained Optimization in Latent Space

論文の概要: Efficient Reasoning via Constrained Optimization in Latent Space

arxiv url: http://arxiv.org/abs/2609.34181v1
Date: Mon, 28 Sep 2026 02:59:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-04 06:08:48.714382
Title: Efficient Reasoning via Constrained Optimization in Latent Space
Title（参考訳）: 遅延空間における制約付き最適化による効率的な推論
Abstract要約: 大規模推論モデル(LRM)は過度に考え直され、大量のトークン消費を引き起こす冗長な推論ステップを生成する。性能を犠牲にすることなくトークン生成コストを削減できる,効率的な推論を実現するための新しいトレーニングフリーフレームワークを提案する。
参考スコア（独自算出の注目度）: 8.992444574918489
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Reasoning Models (LRMs) have shown remarkable reasoning capabilities, yet they still suffer from overthinking, generating redundant reasoning steps which incur substantial token consumption. Existing methods, such as suppressing reflective keywords or forcing shorter reasoning lengths, attempt to mitigate this issue but inevitably truncate necessary steps and induce underthinking, thereby compromising performance. To address this dilemma, we investigate the latent representations and observe that efficient reasoning steps naturally cluster into a concentrated region in latent space, while those deviating from this region tend to produce verbose sequences. To leverage this, we keep reasoning focused within this region via a quadratic program which projects deviating hidden states back into the region. Then we propose a novel training-free framework to achieve efficient reasoning that reduces token generation costs without sacrificing performance. Extensive experiments conducted on four models ranging from 1.5B to 14B, and across six benchmarks in math reasoning, coding, and scientific QA, validate the effectiveness of our method, up to a 12.1\% improvement in accuracy while reducing generated tokens by 11.8\% to 52.8\%. Codes are available at \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning}.
Abstract（参考訳）: 大きな推論モデル(LRM)は顕著な推論能力を示してきたが、それでも過度に考え直し、相当なトークン消費を引き起こす冗長な推論ステップを発生させることに苦しむ。リフレクティブキーワードの抑制や、より短い推論長の強制といった既存の手法は、この問題を緩和しようとするが、必然的に必要なステップを切断し、過小評価を誘発し、パフォーマンスを損なう。このジレンマに対処するために、潜伏表現を調査し、効率的な推論ステップが自然に潜伏空間の集中領域に集まるのを観察する。これを活用するために、我々は、隠れた状態の地域への回帰を計画する二次的プログラムを通じて、この領域内での推論に焦点を絞っている。そこで我々は,性能を犠牲にすることなくトークン生成コストを削減できる,効率的な推論を実現するための新しい学習自由フレームワークを提案する。 1.5Bから14Bの4つのモデルと、数学推論、コーディング、科学的QAの6つのベンチマークで実施された大規模な実験では、生成したトークンを11.8\%から52.8\%に減らしながら、精度が最大12.1\%向上した。コードは \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning} で公開されている。

論文の概要: Efficient Reasoning via Constrained Optimization in Latent Space

関連論文リスト