論文の概要: Breaking the Overscaling Curse: Thinking Parallelism Before Parallel Thinking
- arxiv url: http://arxiv.org/abs/2601.21619v1
- Date: Thu, 29 Jan 2026 12:22:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.802947
- Title: Breaking the Overscaling Curse: Thinking Parallelism Before Parallel Thinking
- Title（参考訳）: オーバースケーリング曲線を破る - 並列思考の前に並列性を考える
- Authors: Yiming Wang, Zhuosheng Zhang, Rui Wang,
- Abstract要約: システムレベルの評価では、全サンプルに対してグローバル並列度レベルNが割り当てられ、一般的にデータセット全体の精度を最大化するために設定される。
いくつかのサンプルは、より小さなN'Nで同等のパフォーマンスを達成でき、予算の冗長性を引き起こす。
オーバースケーリングの呪いを形式化し定量化し、その普遍性と重大さを実際に示し、トリガー機構を解析する。
- 参考スコア（独自算出の注目度）: 14.561556728044918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parallel thinking enhances LLM reasoning by multi-path sampling and aggregation. In system-level evaluations, a global parallelism level N is allocated to all samples, typically set large to maximize overall dataset accuracy. However, due to sample heterogeneity, some samples can achieve comparable performance with a smaller N'< N, causing budget redundancy. This incompatibility between system-level efficacy and sample-level efficiency constitutes the overscaling curse. In this paper, we formalize and quantify the overscaling curse, showing its universality and severity in practice, and analyze its trigger mechanism. We then propose a lightweight method, T2, to break the overscaling curse, which utilizes latent representations to estimate the optimal parallelism level for each sample before decoding. Experiments show that T2 significantly reduces cost while maintaining comparable performance, enabling more efficient parallel thinking.
- Abstract（参考訳）: 並列思考はマルチパスサンプリングとアグリゲーションによるLLM推論を強化する。
システムレベルの評価では、全サンプルに対してグローバル並列度レベルNが割り当てられ、一般的にデータセット全体の精度を最大化するために設定される。
しかし、サンプルの不均一性のため、いくつかのサンプルはより小さいN'<Nで同等の性能を達成でき、予算の冗長性を引き起こす。
このシステムレベルの効率性とサンプルレベルの効率の非互換性は、オーバースケーリングの呪いを構成する。
本稿では,オーバースケーリングの呪いを形式化し,その普遍性と重大さを実証し,トリガー機構を解析する。
次に、遅延表現を用いてデコード前のサンプル毎の最適な並列度を推定する、オーバースケーリングの呪いを破る軽量な方法T2を提案する。
実験の結果、T2は同等の性能を維持しながらコストを大幅に削減し、より効率的な並列思考を可能にした。
関連論文リスト
- Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。
PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。
得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
論文 参考訳（メタデータ） (2025-12-01T02:52:33Z) - DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。
動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。
我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
論文 参考訳（メタデータ） (2025-10-09T17:24:54Z) - EconProver: Towards More Economical Test-Time Scaling for Automated Theorem Proving [64.15371139980802]
大規模言語モデル(LLM)は、最近、自動定理証明(ATP)の分野を進歩させた。
ATPモデルに対する異なるテスト時間スケーリング戦略は、推論にかなりの計算オーバーヘッドをもたらすことを示す。
本稿では,統一EconRLパイプラインに統合可能な2つの補完手法を提案する。
論文 参考訳（メタデータ） (2025-09-16T03:00:13Z) - Two-dimensional Parallel Tempering for Constrained Optimization [0.3068068202044424]
パワーパラレルテンパリングアルゴリズム(PT)の2次元拡張を導入する。
結果として得られる2次元並列テンパリングアルゴリズム(2D-PT)は、厳密な制約のあるレプリカの混合を改善する。
この方法は制約付きIsing問題に広く適用され、既存のIsingマシンにデプロイできる。
論文 参考訳（メタデータ） (2025-05-24T20:41:45Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Parallel Simulation for Log-concave Sampling and Score-based Diffusion Models [55.07411490538404]
本稿では,次元$d$の適応的複雑性依存性を改善する並列サンプリング手法を提案する。
我々の手法は科学計算による並列シミュレーション技術に基づいている。
論文 参考訳（メタデータ） (2024-12-10T11:50:46Z) - Sample-Efficient "Clustering and Conquer" Procedures for Parallel Large-Scale Ranking and Selection [3.913403111891027]
並列コンピューティングにおいてよく使われる「分割と征服」フレームワークを,相関に基づくクラスタリングのステップを追加して修正する。
この一見単純な修正は、広く使われているサンプル最適化R&Sプロシージャのクラスに対して、$mathcalO(p)$のサンプル複雑性の減少をもたらす。
ニューラルネットワーク探索のような大規模AIアプリケーションでは,本手法は優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-03T15:56:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。