論文の概要: Gold-Switch: Training-Free Superposition of Slow- and Fast- Thinking LLMs
- arxiv url: http://arxiv.org/abs/2510.06750v1
- Date: Wed, 08 Oct 2025 08:17:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-09 16:41:20.361997
- Title: Gold-Switch: Training-Free Superposition of Slow- and Fast- Thinking LLMs
- Title(参考訳): Gold-Switch: スローおよびファストシンキングLLMのトレーニングフリーな重ね合わせ
- Authors: Jaeseong Lee, Dayoung Kwon, seung-won hwang,
- Abstract要約: 大規模推論モデル(LRM)は、意図的な人間の推論をエミュレートすることで、構造化されたタスクに優れるが、しばしば過度な考えに悩まされる。
本稿では,1つのモデルのオン/オフによるスイッチング推論を最適化するために,軽量でトレーニング不要な規制を施したデプロイ戦略を提案する。
- 参考スコア(独自算出の注目度): 36.84838904299283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Reasoning Models (LRMs) excel in structured tasks by emulating deliberate human reasoning but often suffer from overthinking, degrading performance and wasting resources. One possible baseline is to deploy both LLM and LRM, then route input by predicting whether it requires reasoning and may cause overthinking. However, deploying multiple models can be costly or impractical. We propose a superposed deployment strategy with a lightweight, training-free regulation to optimize inference by switching one model on and off. Instead of routing, we selectively unlearn from LRM at inference, scaling down computation while preserving reasoning. By analyzing the cumulative energy of singular values, we identify optimal low-rank projections to adjust reasoning just right.
- Abstract(参考訳): 大規模推論モデル(LRM)は、意図的な人間の推論をエミュレートすることで、構造化されたタスクに優れるが、しばしば過度に考え、性能を劣化させ、リソースを浪費する。
LLMとLRMの両方をデプロイし、推論が必要かどうかを予測して入力をルートする。
しかし、複数のモデルをデプロイするのはコストがかかるか実用的でない可能性がある。
本稿では,1つのモデルをオン/オフすることで推論を最適化するために,軽量でトレーニング不要な規制を施したデプロイ戦略を提案する。
ルーティングの代わりに、推論時に LRM から選択的に解放し、推論を保存しながら計算をスケールダウンします。
特異値の累積エネルギーを解析することにより、正しい推論を調整するために最適な低ランク射影を同定する。
関連論文リスト
- OptimalThinkingBench: Evaluating Over and Underthinking in LLMs [61.90251858867122]
LLMは計算量を増やし、より単純な問題を過度に考えることで、複雑なタスクを解決します。
非思考のLSMはより高速で安価ですが、より難しい推論の問題について考えています。
LLMにおける過度な考えと過小評価を共同で評価する統一ベンチマークであるOptimalThinkingBenchを紹介する。
論文 参考訳(メタデータ) (2025-08-18T17:53:10Z) - Trajectory Bellman Residual Minimization: A Simple Value-Based Method for LLM Reasoning [55.33984461046492]
現在、政策に基づく手法が大規模言語モデル(LLM)推論のための強化学習パイプラインを支配している。
本稿では,このアイデアを LLM に自然に適応させるアルゴリズムである Trajectory Bellman Residual Minimization (TBRM) を紹介する。
我々は、軌道の軌道変更-測度分析の改善により、任意のオフ政治から、最適に近いKL正規化政策への収束を証明した。
論文 参考訳(メタデータ) (2025-05-21T09:41:53Z) - Thinkless: LLM Learns When to Think [57.857534644932194]
推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。
我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。
Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
論文 参考訳(メタデータ) (2025-05-19T17:24:16Z) - Learning When to Think: Shaping Adaptive Reasoning in R1-Style Models via Multi-Stage RL [36.40577746211243]
大規模推論モデル(LRM)は、最終的な答えを生成する前に、明示的でステップバイステップの推論シーケンスを生成するのに熟練している。
この過度に考える問題に対処するため、適応的思考能力を備えたLEMの装備方法について検討する。
推論ポリシーを段階的に最適化する多段階強化学習フレームワークであるAutoThinkを提案する。
論文 参考訳(メタデータ) (2025-05-16T04:01:57Z) - Scalable Chain of Thoughts via Elastic Reasoning [61.75753924952059]
Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。
推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。
我々のアプローチは、制約のない設定でもより簡潔で効率的な推論をもたらす。
論文 参考訳(メタデータ) (2025-05-08T15:01:06Z) - Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models [32.49420948390984]
大規模推論モデル(LRM)は、しばしば過度に冗長な推論ステップを生成し、性能の向上が制限されるという過大な問題に悩まされる。
本研究では, LRMが不要な中間ステップを回避し, 計算コストを大幅に削減できる簡易で効率的なパイプライン, Methodを提案する。
論文 参考訳(メタデータ) (2025-04-18T11:07:19Z) - SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。
LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
論文 参考訳(メタデータ) (2025-02-17T18:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。