論文の概要: ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute

• arxiv url: http://arxiv.org/abs/2509.04475v1
• Date: Sat, 30 Aug 2025 03:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.312672
• Title: ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute
• Title（参考訳）: ParaThinker: LLMテストタイムコンピューティングをスケールするための新しいパラダイムとしてのネイティブ並列思考
• Authors: Hao Wen, Yifan Su, Feifei Zhang, Yunxin Liu, Yunhao Liu, Ya-Qin Zhang, Yuanchun Li,
• Abstract要約: ParaThinkerは、LLMをトレーニングして複数の多様な推論パスを並列に生成するエンドツーエンドフレームワークである。 トンネルビジョンの問題を効果的に回避し、モデルの潜在的推論可能性を解き放つ。 挑戦的な推論ベンチマークでは、ParaThinkerはシーケンシャルLLMよりもかなり精度が向上している。
• 参考スコア（独自算出の注目度）: 32.915370020808105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Large Language Models (LLMs) have been driven by test-time compute scaling - a strategy that improves reasoning by generating longer, sequential thought processes. While effective, this approach encounters a significant bottleneck as computation increases, where further computation offers only marginal performance gains. We argue this ceiling is not an inherent limit of the model's capability but a flaw in the scaling strategy itself, a phenomenon we term "Tunnel Vision", where a model's imperfect initial steps lock it into a suboptimal reasoning path. To overcome this, we introduce a new scaling paradigm: native thought parallelism. We present ParaThinker, an end-to-end framework that trains an LLM to generate multiple, diverse reasoning paths in parallel and synthesize them into a superior final answer. By exploring different lines of thoughts simultaneously, ParaThinker effectively sidesteps the Tunnel Vision issue and unlocks the model's latent reasoning potential. Our approach demonstrates that scaling compute in parallel (width) is a more effective and efficient way to superior reasoning than simply scaling sequentially (depth). On challenging reasoning benchmarks, ParaThinker achieves substantial accuracy improvements over sequential LLMs (12.3% for 1.5B and 7.5% for 7B models on average with 8 parallel paths), while adding only negligible latency overhead (7.1%). This enables smaller models to surpass much larger counterparts and establishes parallel thinking as a critical, efficient dimension for scaling future LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、より長いシーケンシャルな思考プロセスを生成することによって推論を改善する戦略である、テストタイムの計算スケーリングによって推進されている。 このアプローチは有効ではあるが、計算が増加するにつれて大きなボトルネックに直面する。 我々は、この天井はモデルの能力に固有の限界ではなく、スケーリング戦略自体の欠陥であると主張している。 これを解決するために、我々は新しいスケーリングパラダイム、ネイティブシンキング並列性を導入しました。 ParaThinkerは、LLMを訓練して複数の多様な推論経路を並列に生成し、それらを優れた最終解へと合成する、エンドツーエンドのフレームワークである。 異なる考えのラインを同時に探索することで、ParaThinkerはトンネルビジョンの問題を効果的に回避し、モデルの潜在的推論可能性を解き放つ。 我々のアプローチは、並列(幅)での計算のスケーリングは、単に逐次(深度)のスケーリングよりも、より効率的で効率的な推論方法であることを示す。 挑戦的な推論ベンチマークでは、ParaThinkerはシーケンシャルLLM(1.5Bで12.3%、並列パスで7Bモデルで7.5%)よりも大幅に精度を向上し、無視可能な遅延オーバーヘッド(7.1%)のみを追加している。 これにより、より小さなモデルはより大きなモデルを超えることができ、将来のLSMをスケールするための重要かつ効率的な次元として並列思考を確立することができる。

関連論文リスト

• Does Thinking More always Help? Understanding Test-Time Scaling in Reasoning Models [103.03315678501546]
  Wait"や"Let me rethink"といったプロンプトを使って思考トレースを拡張することで、パフォーマンスが向上します。 テスト時にもっと考えることは、本当により良い推論につながるのでしょうか? 過度に考える”という理由から,新たな思考による初期パフォーマンス改善の一貫したパターンと,それに続く低下を示す。
  論文  参考訳（メタデータ） (2025-06-04T17:55:09Z)
• Let Me Think! A Long Chain-of-Thought Can Be Worth Exponentially Many Short Ones [19.390296419822562]
  逐次スケーリングが並列スケーリングよりも指数関数的な優位性をもたらすような推論設定の存在を示す。 我々は,様々な言語モデルを用いた包括的実験により理論的知見を検証した。
  論文  参考訳（メタデータ） (2025-05-27T23:23:34Z)
• Not All Thoughts are Generated Equal: Efficient LLM Reasoning via Multi-Turn Reinforcement Learning [12.830215971176806]
  ロングチェーン・オブ・思想(CoT)は、大規模言語モデル(LLM)の推論効率を改善するための新たな戦略である。 本研究では,異なる思考の有効性と効率を測定するための理論的に有界な尺度を提案する。 次に,2つのLong$otimes$Shortを提案する。
  論文  参考訳（メタデータ） (2025-05-17T04:26:39Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [113.49074603075032]
  近年の研究では、モデルをより長い思考の連鎖(CoTs)を通して考える時間を増やすことで、複雑な推論タスクにおいて大幅な改善が得られることが示されている。 より長いCoTによるスケーリングが、特定のドメインにおけるLarge Language Model(LLM)の推論性能を損なうかどうかを考察する。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。