論文の概要: Fast Thinking for Large Language Models
- arxiv url: http://arxiv.org/abs/2509.23633v1
- Date: Sun, 28 Sep 2025 04:19:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.340763
- Title: Fast Thinking for Large Language Models
- Title（参考訳）: 大規模言語モデルのための高速思考
- Abstract要約: 我々は、訓練中にのみ簡潔なCoTスケッチを使用して個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介した。
推論では、コードブックから抽出した少数の連続的思考スイッチのモデル条件を1パスにすることで、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
- 参考スコア（独自算出の注目度）: 67.7238685892317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning-oriented Large Language Models (LLMs) often rely on generating explicit tokens step by step, and their effectiveness typically hinges on large-scale supervised fine-tuning or reinforcement learning. While Chain-of-Thought (CoT) techniques substantially enhance performance on complex reasoning tasks, they remain inefficient, requiring long reasoning traces that increase latency and token usage. In this work, we introduce Latent Codebooks for Fast Thinking, a framework that uses concise CoT sketches only during training to learn a codebook of discrete strategy priors. At inference, the model conditions on a handful of continuous thinking vectors distilled from the codebook in a single pass, enabling strategy-level guidance without producing explicit reasoning tokens. To complement this design, we propose GainRouter, a lightweight routing mechanism that adaptively switches between fast codebook guided inference and slow explicit reasoning, thereby suppressing overthinking and reducing unnecessary token generation. Experiments across multiple reasoning benchmarks show that our approach achieves competitive or superior accuracy while substantially lowering inference cost, offering a practical path toward efficient and controllable reasoning in large language models.
- Abstract（参考訳）: 推論指向の大規模言語モデル(LLM)は、しばしばステップごとに明示的なトークンを生成することに依存し、その効果は通常、大規模に監督された微調整や強化学習に依存する。
CoT(Chain-of-Thought)技術は複雑な推論タスクのパフォーマンスを大幅に向上させるが、それらは非効率であり、レイテンシとトークン使用量を増加させる長い推論トレースを必要とする。
本研究では,訓練中にのみ簡潔なCoTスケッチを使用して,個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介する。
推論では、コードブックから1回のパスで抽出した少数の連続的思考ベクトルのモデル条件により、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
この設計を補完するために、高速なコードブックガイド推論と遅い明示的推論を適応的に切り替える軽量ルーティング機構であるGainRouterを提案する。
複数の推論ベンチマークを用いて実験した結果,提案手法は推論コストを大幅に低減しつつ,競合的あるいは優れた精度を実現し,大規模言語モデルにおける効率的かつ制御可能な推論への実践的な道筋を提供する。
関連論文リスト
- ChainPrune: Evaluating and Reducing Redundancy in Long Chain-of-Thought Reasoning [48.3829293800053]
そこで我々は,新しい推論経路意味構造最適化法ChainPruneを提案する。
我々は,自己生成的推論経路を木構造に集約し,その後に複数基準の優越的経路選択プロセスを行う。
我々は、DPOに基づく選好学習手法と教師付き損失を併用し、効果的に偽報酬抑制を緩和する。
論文 参考訳（メタデータ） (2026-08-22T09:09:05Z) - Balancing Efficiency and Efficacy: Training-Free Attention-Guided Switching Between Explicit and Latent Thoughts for MLLMs [44.74237674161132]
MLLM(Multimodal Large Language Models)における推論は、きめ細かい視覚認識と厳密な論理推論の両方を必要とする。
明示的なテキストベースのChain-of-Thought (CoT) は計算に高価であり、視覚幻覚を起こしやすい。
既存の潜在的推論手法は、通常、コストのかかる訓練を必要とする。
論文 参考訳（メタデータ） (2026-08-04T10:46:10Z) - CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts [25.917787556467776]
CoT推論(Chain-of-Thought reasoning)により、複雑な視覚的推論タスクに対処するマルチモーダルな大規模言語モデル(MLLM)が実現された。
我々は,多モーダルモデルに潜在的思考表現の連鎖を通して推論を教える新しいフレームワークであるCoLTを提案する。
テキストCoTメソッドと比較して、CoLTは推論時間を10.1$times$、テキストデコード時間を22.6$times$と明確に削減することができる。
論文 参考訳（メタデータ） (2026-06-30T17:24:40Z) - CARE: Competence-Aware Reward Shaping for Adaptive Reasoning Length in Video-MLLMs [50.189987475377656]
マルチモーダル推論における適応推論長最適化のための能力認識型報酬形成フレームワークであるCAREを提案する。
CAREは、パスレートの指数的な移動平均を通したスムーズなコンピテンス推定を維持し、それを訓練を進行段階にルートするために利用する。
複数のビデオ推論と一般的なビデオ理解ベンチマークの実験により、CAREは推論精度を一貫して改善し、強化学習を安定化し、トークン効率を大幅に向上することを示した。
論文 参考訳（メタデータ） (2026-06-18T08:28:26Z) - LogitsCoder: Towards Efficient Chain-of-Thought Path Search via Logits Preference Decoding for Code Generation [86.08600027874662]
コード生成のための軽量なロジットレベル制御機構を通じて、チェーン・オブ・シント推論を強化する新しいフレームワークであるLogitsCoderを提案する。
我々はLogitsCoderがより効率的で高品質な推論チェーンを生成することを示し、ベースライン方式に比べてコード生成性能が優れていることを示した。
論文 参考訳（メタデータ） (2026-02-15T08:52:19Z) - CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。
ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
論文 参考訳（メタデータ） (2026-02-04T06:12:53Z) - Debiasing Large Language Models via Adaptive Causal Prompting with Sketch-of-Thought [18.725256563820952]
本稿では,Sketch-of-Thought (ACPS) フレームワークを用いた適応因果プロンプトを提案する。
ACPSは冗長なChain-of-Thought(CoT)を簡潔なSketch-of-Thoughtに置き換える。
ACPSは、精度、堅牢性、計算効率の点で、既存のプロンプトベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-13T00:58:43Z) - R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。
CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。
トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文 参考訳（メタデータ） (2025-07-23T08:14:36Z) - ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。
DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
論文 参考訳（メタデータ） (2025-06-23T16:20:44Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳（メタデータ） (2025-05-29T17:55:49Z) - Adaptive Deep Reasoning: Triggering Deep Thinking When Needed [28.575411507835973]
大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。
本稿では,問題複雑性に基づいて,短鎖と長鎖の推論チェーンを自律的に切り替える手法を提案する。
この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。
論文 参考訳（メタデータ） (2025-05-26T15:08:51Z) - Efficient Reasoning Models: A Survey [73.00621058885054]
本調査は,近年の効率的な推論の進歩を包括的に概観することを目的としている。
1)短い圧縮CoTを簡潔で効果的な推論チェーンに、(2)より小さい - 強力な推論能力を持つコンパクトな言語モデルを開発する、(3)より高速に、という3つの重要な方向性に分類する。
論文 参考訳（メタデータ） (2025-04-15T06:28:00Z) - Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。
我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。
SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文 参考訳（メタデータ） (2025-03-07T06:57:17Z) - Efficient Reasoning with Hidden Thinking [48.96945580741641]
CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。
我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。
ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
論文 参考訳（メタデータ） (2025-01-31T15:10:29Z) - Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。
その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。
提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
論文 参考訳（メタデータ） (2024-10-10T17:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。