論文の概要: SSR: Speculative Parallel Scaling Reasoning in Test-time

• arxiv url: http://arxiv.org/abs/2505.15340v1
• Date: Wed, 21 May 2025 10:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.50046
• Title: SSR: Speculative Parallel Scaling Reasoning in Test-time
• Title（参考訳）: SSR: テスト時間における投機的並列スケーリング推論
• Authors: Yuanlin Chu, Bo Wang, Xiang Liu, Hong Chen, Aiwei Liu, Xuming Hu,
• Abstract要約: 大規模言語モデル(LLM)は、多段階の数学的推論において驚くべき結果を得たが、高い計算オーバーヘッドを犠牲にしている。 この課題は、パラレルデコーディングのようなテスト時のスケーリング手法では特に深刻で、回答の多様性は向上するが、効率性は低い。 SSR(Speculative Parallel Scaling Reasoning)は,ステップレベルで投機的復号化を導入することで,正確性を犠牲にすることなく推論を高速化する,トレーニング不要なフレームワークである。
• 参考スコア（独自算出の注目度）: 25.856914591686866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved impressive results on multi-step mathematical reasoning, yet at the cost of high computational overhead. This challenge is particularly acute for test-time scaling methods such as parallel decoding, which increase answer diversity but scale poorly in efficiency. To address this efficiency-accuracy trade-off, we propose SSR (Speculative Parallel Scaling Reasoning), a training-free framework that leverages a key insight: by introducing speculative decoding at the step level, we can accelerate reasoning without sacrificing correctness. SSR integrates two components: a Selective Parallel Module (SPM) that identifies a small set of promising reasoning strategies via model-internal scoring, and Step-level Speculative Decoding (SSD), which enables efficient draft-target collaboration for fine-grained reasoning acceleration. Experiments on three mathematical benchmarks-AIME 2024, MATH-500, and LiveMathBench - demonstrate that SSR achieves strong gains over baselines. For instance, on LiveMathBench, SSR improves pass@1 accuracy by 13.84% while reducing computation to 80.5% of the baseline FLOPs. On MATH-500, SSR reduces compute to only 30% with no loss in accuracy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多段階の数学的推論において驚くべき結果を得たが、高い計算オーバーヘッドを犠牲にしている。 この課題は、パラレルデコーディングのようなテスト時のスケーリング手法では特に深刻で、回答の多様性は向上するが、効率性は低い。 この効率性と精度のトレードオフに対処するため、我々はSSR(Speculative Parallel Scaling Reasoning)という、重要な洞察を生かしたトレーニング不要のフレームワークを提案する。 SSRはSPM(Selective Parallel Module)とSSD(Step-level Speculative Decoding)の2つのコンポーネントを統合している。 AIME 2024、MATH-500、LiveMathBenchの3つの数学ベンチマークの実験は、SSRがベースラインよりも高いゲインを達成することを示した。 例えばLiveMathBenchでは、SSRはpass@1の精度を13.84%改善し、計算をベースラインFLOPの80.5%に削減した。 MATH-500では、SSRは計算を30%に減らし、精度は低下しない。

関連論文リスト

• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• SLR: Automated Synthesis for Scalable Logical Reasoning [23.14914698597022]
  大規模言語モデル(LLM)の体系的評価と訓練のためのエンドツーエンドフレームワークであるSLRを紹介する。 ユーザのタスク仕様を前提として、SLRは帰納的推論タスクの命令プロンプトを自動で生成する。 SLRを用いて、20のカリキュラムレベルに分類した19kプロンプトからなるベンチマークであるSLR-Benchを作成する。
  論文  参考訳（メタデータ） (2025-06-18T18:10:30Z)
• Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
  STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。 従来の自己回帰復号法と比較して,STANDは推論遅延を60～65%削減することを示した。 モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
  論文  参考訳（メタデータ） (2025-06-05T07:31:18Z)
• PATS: Process-Level Adaptive Thinking Mode Switching [53.53401063490537]
  現在の大言語モデル(LLM)は、通常、難易度に関わらず、すべての質問に対して、単純または複雑に固定された推論戦略を採用する。 このようなタスクと推論プロセスの複雑さの変化の無視は、パフォーマンスと効率のバランスを損なう。 既存の手法では, 難易度が異なる問題に対処するために, 学習不要な高速スロー思考システムを導入しようとするが, 厳密な解レベルの戦略調整によって制限される。 プロセスレベル適応思考モードスイッチング(PATS)という新しい推論パラダイムを提案し,各ステップの難易度に基づいてLLMが推論戦略を動的に調整し,そのバランスを最適化する。
  論文  参考訳（メタデータ） (2025-05-25T17:58:50Z)
• TrimR: Verifier-based Training-Free Thinking Compression for Efficient Test-Time Scaling [20.980976778470247]
  大規模推論モデル(LRM)は、複雑な数学的、論理的、コーディングタスクに対処する際、例外的な能力を示す。 本稿では,動的チェイン・オブ・ソート(CoT)圧縮のための検証器ベース,トレーニング不要,効率的なフレームワークTrimRを提案する。
  論文  参考訳（メタデータ） (2025-05-22T12:23:30Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Stochastic Rounding for LLM Training: Theory and Practice [15.071158535119539]
  ラウンドリング(SR)を利用して,低精度表現による数値誤差に対処する。 最大6.7Bパラメータの事前学習モデルによる実験結果から, SR戦略を用いたBF16が, 混合精度戦略(BF16, FP32)より優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-27T22:08:08Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Inference Scaling vs Reasoning: An Empirical Analysis of Compute-Optimal LLM Problem-Solving [0.0]
  大規模言語モデル(LLM)の最近の進歩は、精度と推論能力の最大化に重点を置いている。 本稿では,2つの対照的なアプローチの統合を解析することにより,推論の強化と計算効率の相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-12-20T08:42:45Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Ab initio nonparametric variable selection for scalable Symbolic Regression with large $p$ [2.222138965069487]
  シンボリック回帰(SR)は、データの非線形関係を特徴付けるシンボリック表現を発見するための強力な手法である。 既存のSR法は、多くの入力変数を持つデータセットにスケールしないが、これは現代の科学的応用で一般的である。 本稿では,Ab初期非パラメトリック変数選択とSRを組み合わせたPAN+SRを提案する。
  論文  参考訳（メタデータ） (2024-10-17T15:41:06Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval [51.42470171051007]
  本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。 DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。 モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
  論文  参考訳（メタデータ） (2021-12-15T08:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。