論文の概要: SSR: Speculative Parallel Scaling Reasoning in Test-time

• arxiv url: http://arxiv.org/abs/2505.15340v1
• Date: Wed, 21 May 2025 10:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.50046
• Title: SSR: Speculative Parallel Scaling Reasoning in Test-time
• Title（参考訳）: SSR: テスト時間における投機的並列スケーリング推論
• Authors: Yuanlin Chu, Bo Wang, Xiang Liu, Hong Chen, Aiwei Liu, Xuming Hu,
• Abstract要約: 大規模言語モデル(LLM)は、多段階の数学的推論において驚くべき結果を得たが、高い計算オーバーヘッドを犠牲にしている。 この課題は、パラレルデコーディングのようなテスト時のスケーリング手法では特に深刻で、回答の多様性は向上するが、効率性は低い。 SSR(Speculative Parallel Scaling Reasoning)は,ステップレベルで投機的復号化を導入することで,正確性を犠牲にすることなく推論を高速化する,トレーニング不要なフレームワークである。
• 参考スコア（独自算出の注目度）: 25.856914591686866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved impressive results on multi-step mathematical reasoning, yet at the cost of high computational overhead. This challenge is particularly acute for test-time scaling methods such as parallel decoding, which increase answer diversity but scale poorly in efficiency. To address this efficiency-accuracy trade-off, we propose SSR (Speculative Parallel Scaling Reasoning), a training-free framework that leverages a key insight: by introducing speculative decoding at the step level, we can accelerate reasoning without sacrificing correctness. SSR integrates two components: a Selective Parallel Module (SPM) that identifies a small set of promising reasoning strategies via model-internal scoring, and Step-level Speculative Decoding (SSD), which enables efficient draft-target collaboration for fine-grained reasoning acceleration. Experiments on three mathematical benchmarks-AIME 2024, MATH-500, and LiveMathBench - demonstrate that SSR achieves strong gains over baselines. For instance, on LiveMathBench, SSR improves pass@1 accuracy by 13.84% while reducing computation to 80.5% of the baseline FLOPs. On MATH-500, SSR reduces compute to only 30% with no loss in accuracy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多段階の数学的推論において驚くべき結果を得たが、高い計算オーバーヘッドを犠牲にしている。 この課題は、パラレルデコーディングのようなテスト時のスケーリング手法では特に深刻で、回答の多様性は向上するが、効率性は低い。 この効率性と精度のトレードオフに対処するため、我々はSSR(Speculative Parallel Scaling Reasoning)という、重要な洞察を生かしたトレーニング不要のフレームワークを提案する。 SSRはSPM(Selective Parallel Module)とSSD(Step-level Speculative Decoding)の2つのコンポーネントを統合している。 AIME 2024、MATH-500、LiveMathBenchの3つの数学ベンチマークの実験は、SSRがベースラインよりも高いゲインを達成することを示した。 例えばLiveMathBenchでは、SSRはpass@1の精度を13.84%改善し、計算をベースラインFLOPの80.5%に削減した。 MATH-500では、SSRは計算を30%に減らし、精度は低下しない。

関連論文リスト

• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Stochastic Rounding for LLM Training: Theory and Practice [15.071158535119539]
  ラウンドリング(SR)を利用して,低精度表現による数値誤差に対処する。 最大6.7Bパラメータの事前学習モデルによる実験結果から, SR戦略を用いたBF16が, 混合精度戦略(BF16, FP32)より優れていることが示された。
  論文  参考訳（メタデータ） (2025-02-27T22:08:08Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• Inference Scaling vs Reasoning: An Empirical Analysis of Compute-Optimal LLM Problem-Solving [0.0]
  大規模言語モデル(LLM)の最近の進歩は、精度と推論能力の最大化に重点を置いている。 本稿では,2つの対照的なアプローチの統合を解析することにより,推論の強化と計算効率の相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-12-20T08:42:45Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Ab initio nonparametric variable selection for scalable Symbolic Regression with large $p$ [2.222138965069487]
  シンボリック回帰(SR)は、データの非線形関係を特徴付けるシンボリック表現を発見するための強力な手法である。 既存のSR法は、多くの入力変数を持つデータセットにスケールしないが、これは現代の科学的応用で一般的である。 本稿では,Ab初期非パラメトリック変数選択とSRを組み合わせたPAN+SRを提案する。
  論文  参考訳（メタデータ） (2024-10-17T15:41:06Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Modality-Aware Triplet Hard Mining for Zero-shot Sketch-Based Image Retrieval [51.42470171051007]
  本稿では,ZES-SBIR(Zero-Shot Sketch-Based Image Retrieval)問題に,クロスモダリティメトリック学習の観点から取り組む。 DMLにおける2つの基本的な学習手法、例えば分類訓練とペアトレーニングを組み合わせることで、ZS-SBIRの強力なベースラインを構築した。 モータリティ・アウェア・トリプルト・ハード・マイニング(MATHM)は3種類のペア・ラーニングによってベースラインを向上することを示す。
  論文  参考訳（メタデータ） (2021-12-15T08:36:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。