論文の概要: Are We Scaling the Right Thing? A System Perspective on Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2509.19645v1
• Date: Tue, 23 Sep 2025 23:52:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.636751
• Title: Are We Scaling the Right Thing? A System Perspective on Test-Time Scaling
• Title（参考訳）: 正しい部分のスケーリングは可能か? テスト時間スケーリングのシステム展望
• Authors: Youpeng Zhao, Jinpeng LV, Di Wu, Jun Wang, Christopher Gooley,
• Abstract要約: テストタイムスケーリング(TTS)は、大規模言語モデル(LLM)の隠れた推論能力を活用するための有望な方向として登場した。 本稿では,TTSにおけるシステム駆動の視点として,遅延やコスト・パー・トークンといった実測値に対して,推論モデルがどのようにスケールするかを解析する。
• 参考スコア（独自算出の注目度）: 8.855653249643089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling (TTS) has recently emerged as a promising direction to exploit the hidden reasoning capabilities of pre-trained large language models (LLMs). However, existing scaling methods narrowly focus on the compute-optimal Pareto-frontier, ignoring the simple fact that compute-optimal is not always system-optimal. In this work, we propose a system-driven perspective on TTS, analyzing how reasoning models scale against practical metrics, such as latency and cost-per-token. By evaluating the impact of popular optimizations such as tensor parallelism and speculative decoding, our preliminary analysis reveals the limitations of current methods and calls for a paradigm shift toward holistic, system-aware evaluations that capture the true essence of scaling laws at inference time.
• Abstract（参考訳）: テスト時スケーリング(TTS)は、最近、事前訓練された大規模言語モデル(LLM)の隠れた推論能力を活用するための有望な方向として登場した。 しかし、既存のスケーリング手法では、計算最適化が必ずしもシステム最適化であるとは限らないという単純な事実を無視して、計算最適化のパレートフロンティアに焦点を絞っている。 本研究では,TSにおけるシステム駆動の視点を提案し,推論モデルが遅延やコスト・パー・トークンといった実用的なメトリクスに対してどのようにスケールするかを分析する。 テンソル並列性や投機的復号化といった一般的な最適化の影響を評価することで,既存の手法の限界を明らかにし,推論時におけるスケーリング法則の真の本質を捉えた全体的システム認識評価へのパラダイムシフトを求める。

関連論文リスト

• Step-level Verifier-guided Hybrid Test-Time Scaling for Large Language Models [58.36334504216682]
  テスト時間スケーリングは、推論中にモデルのインテリジェンスを段階的に引き出す、有望なアプローチである。 本稿では,推論のためのトレーニング不要なTTS手法に焦点をあてる。 ハイブリッドテスト時間スケーリングと呼ばれる新しい推論パラダイムを導入する。
  論文  参考訳（メタデータ） (2025-07-21T11:28:09Z)
• Kinetics: Rethinking Test-Time Scaling Laws [18.325591438335007]
  Kinetics Scaling Lawは、テストタイムの計算が、より小さなしきい値以上のモデルで使用される場合、より効果的であることを示唆している。 そこで本研究では,スパークアテンションに着目した新しいスケーリングパラダイムを提案し,コストを削減し,より長い世代とより並列なサンプルを実現する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:24Z)
• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• Scaling over Scaling: Exploring Test-Time Scaling Plateau in Large Reasoning Models [7.2703757624760526]
  大規模推論モデル(LRM)は、内部テストタイムスケーリングによる推論性能の向上能力を示した。 これらのスケーリング境界を推し進めるにつれて、現実的な限界を理解し、最適なリソース割り当てを達成することが重要な課題となります。 本稿では,テストタイムスケーリングのスケーリングプレートを調査し,TTSPM(Test-Time Scaling Performance Model)を導入する。
  論文  参考訳（メタデータ） (2025-05-26T20:58:45Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。