論文の概要: Dual-Track CoT: Budget-Aware Stepwise Guidance for Small LMs

• arxiv url: http://arxiv.org/abs/2604.25039v1
• Date: Mon, 27 Apr 2026 22:43:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.620543
• Title: Dual-Track CoT: Budget-Aware Stepwise Guidance for Small LMs
• Title（参考訳）: Dual-Track CoT:小さなLMのための予算対応型ステップワイドガイダンス
• Abstract要約: 小言語モデルは、厳密な計算とトークンの予算の下で、多段階の推論に苦しむ。 自己整合性のような既存のテスト時間推論手法ではパフォーマンスが向上するが、トークンコストが高く、ステップレベルの細かい制御ができないことが多い。 SLM(Small Language Models)は、同じまたは少ないトークンを確実に使用することができるか?
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) solve many reasoning tasks via chain-of-thought (CoT) prompting, but smaller models (about 7 to 8B parameters) still struggle with multi-step reasoning under tight compute and token budgets. Existing test time reasoning methods such as self consistency (sampling multiple rationales and voting), Tree-of-Thoughts (search over intermediate thoughts), and critique revise loops improve performance, but often at high token cost and without fine-grained step-level control. This project1 aims to address that gap: can Small Language Models (SLMs) reason reliably using the same or fewer tokens? This question is both scientific and practical. Scientifically, it probes whether process supervision and simple test-time controls (such as token budgets and rejection of redundant steps) can substitute for model scale or large sampling counts. Practically, many deployments (on-device, low-latency, or cost-constrained settings) cannot afford huge models or dozens of sampled rationales per query. A method that improves SLM reasoning at fixed cost would therefore be directly useful.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、チェーン・オブ・シンクレット(CoT)のプロンプトによって多くの推論タスクを解決するが、より小さなモデル(約7から8Bのパラメータ)は、厳密な計算とトークンの予算の下で、多段階の推論に苦慮している。 自己整合性(複数の合理性や投票をサンプリングする)、トリー・オブ・ソート(中間思想について調べる)、批判的修正ループといった既存のテスト時間推論手法は、パフォーマンスを向上させるが、しばしばトークンコストが高く、ステップレベルの細かい制御が不要である。 このプロジェクト1は、このギャップに対処することを目的としています。 SLM(Small Language Models)は、同じまたは少ないトークンを確実に使用できますか? この問題は科学的にも実用的でもあります。 科学的には、プロセスの監督と単純なテストタイムコントロール(トークン予算や冗長なステップの拒否など)が、モデルスケールや大規模なサンプリングカウントに取って代わるかどうかを調査する。 実際、多くのデプロイメント(オンデバイス、低レイテンシ、コスト制約のある設定)では、クエリ毎に巨大なモデルや数十のサンプルの合理化ができない。 したがって、固定コストでのSLM推論を改善する方法は、直接的に有用である。

関連論文リスト

• Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning [72.45536737928015]
  MLLMの推論モードを適応的に選択するフレームワークであるSwitch-Reasonerを提案する。 仮想ツールの呼び出しとして思考を扱い、モデルが直接答えるか、答える前に明示的な推論を呼び出すことができる。 11のマルチモーダルタスクの実験は、Switch-Reasonerが強い性能を維持しながら不要な推論を減らすことを示す。
  論文  参考訳（メタデータ） (2026-07-09T15:04:05Z)
• Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning [27.851326399978394]
  大規模言語モデルは、拡張チェーン・オブ・ソート推論により最終回答精度を向上させる。 既存の効率的な推論手法は、トレースの短縮、早期停止、圧縮によって思考長を制御する。 本稿では,マルコフ決定過程の推論を定式化したACTS(Agenic Chain-of-Thought Steering)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:51:30Z)
• Process Supervision for Chain-of-Thought Reasoning via Monte Carlo Net Information Gain [23.290482237410398]
  マルチステップ推論は、大規模言語モデル(LLM)の機能を改善するが、中間ステップで伝播するエラーのリスクを増大させる。 プロセス報酬モデル(PRM)は、各ステップを個別にスコアすることでこれを緩和し、きめ細かい監督と信頼性の向上を可能にします。 本稿では,情報理論を用いた段階ラベルの自動生成手法を提案する。
  論文  参考訳（メタデータ） (2026-03-18T15:08:01Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Steering LLM Thinking with Budget Guidance [48.65894557568655]
  予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。 提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。 この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
  論文  参考訳（メタデータ） (2025-06-16T17:57:05Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• DAST: Difficulty-Adaptive Slow-Thinking for Large Reasoning Models [30.184895117009457]
  本稿では,問題の難易度に基づいて,モデルが自律的にChain-of-Thought(CoT)の長さを調整できる,DAST(Difficulty-Adaptive Slow Thinking)を提案する。 多様なデータセットとモデルスケールの実験により、DASTは複雑な問題に対する推論精度を維持しながら、過剰思考を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-03-06T14:23:06Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Token-Budget-Aware LLM Reasoning [33.81357562939748]
  CoT(Chain-of-Thought)推論はトークンの使用にかなりのオーバーヘッドをもたらす。 トークン予算を考慮したLCM推論フレームワークを提案する。 提案手法は,CoT推論におけるトークンコストをわずかな性能低下のみで効果的に低減する。
  論文  参考訳（メタデータ） (2024-12-24T16:55:45Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。