論文の概要: SPRINT: Enabling Interleaved Planning and Parallelized Execution in Reasoning Models

• arxiv url: http://arxiv.org/abs/2506.05745v1
• Date: Fri, 06 Jun 2025 05:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.323157
• Title: SPRINT: Enabling Interleaved Planning and Parallelized Execution in Reasoning Models
• Title（参考訳）: SPRINT:推論モデルにおけるインターリーブ計画と並列実行の実現
• Authors: Emil Biju, Shayan Talaei, Zhemin Huang, Mohammadreza Pourreza, Azalia Mirhoseini, Amin Saberi,
• Abstract要約: 大きな推論モデルは複雑な推論タスクでは優れているが、典型的には長いシーケンシャル連鎖を生成する。 SPRINTは、LRMが並列化の機会を動的に識別し活用できるようにするために設計された、新しいトレーニング後および推論時フレームワークである。 本研究では,SPRINTフレームワークで微調整されたモデルが,数学などの複雑な領域における推論モデルの性能と一致することを示す。
• 参考スコア（独自算出の注目度）: 2.7645012830234
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large reasoning models (LRMs) excel at complex reasoning tasks but typically generate lengthy sequential chains-of-thought, resulting in long inference times before arriving at the final answer. To address this challenge, we introduce SPRINT, a novel post-training and inference-time framework designed to enable LRMs to dynamically identify and exploit opportunities for parallelization during their reasoning process. SPRINT incorporates an innovative data curation pipeline that reorganizes natural language reasoning trajectories into structured rounds of long-horizon planning and parallel execution. By fine-tuning LRMs on a small amount of such curated data, the models learn to dynamically identify independent subtasks within extended reasoning processes and effectively execute them in parallel. Through extensive evaluations, we show that the models fine-tuned with the SPRINT framework match the performance of reasoning models on complex domains such as mathematics while generating up to ~39% fewer sequential tokens on problems requiring more than 8000 output tokens. Finally, we observe consistent results transferred to two out-of-distribution tasks of GPQA and Countdown with up to 45% and 65% reduction in average sequential tokens for longer reasoning trajectories, while achieving the performance of the fine-tuned reasoning model.
• Abstract（参考訳）: 大きな推論モデル(LRMs)は複雑な推論タスクでは優れるが、典型的には長いシーケンシャルな連鎖を生成するため、最終的な答えに到達するまでに長い推論時間がかかる。 この課題に対処するために、我々は、LEMが推論プロセス中に並列化の機会を動的に識別し、活用できるように設計された新しいポストトレーニングおよび推論時フレームワークであるSPRINTを紹介した。 SPRINTは、自然言語推論の軌道を長期計画と並列実行の構造化ラウンドに再編成する革新的なデータキュレーションパイプラインを組み込んでいる。 少量のキュレートされたデータに対してLEMを微調整することにより、モデルは拡張された推論プロセス内で独立サブタスクを動的に識別し、それらを効果的に並列に実行する。 本研究では,SPRINTフレームワークにより微調整されたモデルが,数学などの複雑な領域における推論モデルの性能と一致し,8000以上の出力トークンを必要とする問題に対して最大39%のシーケンシャルトークンを生成することを示す。 最後に,GPQAとCountdownの2つのアウト・オブ・ディストリビューションタスクに対して,より長い推論軌道に対して平均シーケンシャルトークンを最大45%,65%削減し,微調整された推論モデルの性能を実現した。

関連論文リスト

• Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks [48.105258051884384]
  本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。 第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
  論文  参考訳（メタデータ） (2026-01-09T08:19:11Z)
• Enhancing Long Chain-of-Thought Reasoning through Multi-Path Plan Aggregation [32.86351316550696]
  我々は、生の長いCoTを分析し、計画と実行ステップからなる推論階層を明らかにする。 本研究の目的は,計画探索と集約による単一パス推論を増強するMPPA(Multi-Path Plan Aggregation)を提案することである。 これを解決するために, Twisted Sequential Monte Carlo (TSMC) を利用するプロセスレベルの優先度最適化スキームであるStep-DPOを導入する。
  論文  参考訳（メタデータ） (2025-10-13T17:02:41Z)
• TaTToo: Tool-Grounded Thinking PRM for Test-Time Scaling in Tabular Reasoning [77.01182934427095]
  TaTTooは、ツールベースの検証を統合し、正確な報酬管理を提供する新しいテーブルグラウンドのPRMフレームワークである。 私たちはTTTooを2段階のパラダイムでトレーニングします。ツール使用推論パターンをキャプチャするために、コールドスタートの教師による微調整を行い、続いて強化学習を行い、私たちのモデルをテーブルベースの検証と整合させます。
  論文  参考訳（メタデータ） (2025-10-07T17:59:41Z)
• Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search [62.1546099504045]
  本稿では、推論を計画と実行に分離する二相テストタイムスケーリングフレームワークを提案する。 具体的には、推論軌跡を分解し、各フェーズの報酬モデルを構築し、探索者が個別に計画と実行を探索、実行できるようにする。 数学的推論とコード生成ベンチマークの両方の実験により、我々の手法は計算の冗長性を低減しつつ、常に精度を向上することを示した。
  論文  参考訳（メタデータ） (2025-09-29T19:27:23Z)
• Retrieval-of-Thought: Efficient Reasoning via Reusing Thoughts [6.845529733164892]
  本稿では, 事前推論を構成可能な思考として再利用するRetrieval-of-Thought(RoT)を提案する。 RoTは、シーケンシャルかつセマンティックなエッジを持つ思考グラフにステップを整理し、高速な検索と柔軟な再結合を可能にする。 複数のモデルを用いた推論ベンチマークでRoTを評価し,精度,トークン使用率,レイテンシ,メモリオーバーヘッドを測定した。
  論文  参考訳（メタデータ） (2025-09-26T01:17:35Z)
• Pruning the Unsurprising: Efficient Code Reasoning via First-Token Surprisal [13.035073453917088]
  大規模推論モデル(LRM)は、Chain-of-Thought(CoT)の長さをスケールアップすることによって、コード推論において顕著な能力を示した。 我々は,CoT圧縮のための新しい粗大なフレームワークであるASAP(Anchor-guided, Surprisal-based Pruning)を提案する。 ASAPは、トレーニングと推論コストを大幅に削減しつつ、複数のコード生成ベンチマークで最先端の精度を実現している。
  論文  参考訳（メタデータ） (2025-08-08T03:46:21Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [53.149817480019834]
  大規模推論モデル(LRM)の最近の進歩は、チェーン・オブ・ソート(CoT)による生成長のスケールアップにより、複雑な推論タスクにおける顕著な性能向上を実現している。 本稿では,推論過程のトークン生成中にテキストヒントを注入することにより,推論モデルに簡潔な発話を促すフレームワークであるConciseHintを提案する。 DeepSeek-R1 や Qwen-3 シリーズを含む最先端の LRM 実験により,本手法は性能を良好に保ちながら簡潔な推論過程を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [70.01883340129204]
  シングルパス。 リファレンスガイドによる評価(SPARE) 参照ソリューションにおける各ソリューションステップを1つまたは複数のステップにアライメントすることで、単一のパス毎のアノテーションを可能にする新しい構造化フレームワーク。 SPAREは2.6倍の効率を実現し、実行時の38%しか必要としない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• TL;DR: Too Long, Do Re-weighting for Effcient LLM Reasoning Compression [75.81611837629764]
  高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。 我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-06-03T09:23:41Z)
• Saliency-driven Dynamic Token Pruning for Large Language Models [32.903622070917194]
  塩分駆動型動的トケンプルーニング(SDTP) 軽量なサリエンシ駆動予測モジュールは、各トークンの重要度をその隠れ状態で推定するように設計されている。 ランキングに基づく最適化手法を提案し,評価スコアと予測重要スコアのランキングばらつきを最小化する。
  論文  参考訳（メタデータ） (2025-04-06T15:15:07Z)
• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• Towards Hierarchical Multi-Step Reward Models for Enhanced Reasoning in Large Language Models [33.547353090281284]
  階層的リワードモデルと呼ばれる新しい報酬モデル手法を提案する。 個々の推論ステップと連続推論ステップを、きめ細かいレベルと粗いレベルの両方で評価する。 これは多段階推論コヒーレンスの評価に優れており、特に欠陥のあるステップが後に自己回帰によって修正される場合である。
  論文  参考訳（メタデータ） (2025-03-16T15:18:40Z)
• Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning [11.15613673478208]
  プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。 我々は,Large Language Models (LLM) が生成する推論ステップが,厳密なインクリメンタルな情報表示に失敗することが多く,冗長性が生じることを観察する。 本稿では,冗長なステップを検出するための簡易かつ効果的な粗大な戦略CFPRMを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:44:45Z)
• Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation [27.484259938667776]
  大規模言語モデルはコード生成に優れていますが、推論を必要とする複雑なプログラミングタスクに苦労します。 本稿では,実行可能検証を活用することで,プロセスと結果の監視を統一するアウトカム・リフィニング・プロセス・スーパービジョンを紹介する。 5つのモデルと3つのベンチマークによる実験では、26.9%の精度でコード効率が42.2%向上した。
  論文  参考訳（メタデータ） (2024-12-19T17:59:42Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。