Fugu-MT 論文翻訳(概要): Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning

論文の概要: Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning

arxiv url: http://arxiv.org/abs/2608.24658v1
Date: Tue, 25 Aug 2026 15:02:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:35.053076
Title: Parason: Revealing Subtask and Trial Parallelism in LLM Reasoning
Title（参考訳）: パラソン: LLM推論におけるサブタスクとトライアル並列性
Abstract要約: 大規模言語モデルにおける2種類の並列性を明らかにし,学習するParasonを紹介した。パラソンは逐次的推論トレースを文脈自由文法で構造化された並列軌跡に変換する。推論時に、Parasonはツールコールを通じて学習された並列構造を実行し、理論的な保存を現実のウォールクロックアクセラレーションに変換する。
参考スコア（独自算出の注目度）: 20.249625251361238
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Scaling test-time reasoning has substantially improved the problem-solving ability of large language models (LLMs), but standard autoregressive decoding still executes long reasoning traces sequentially, creating severe latency for difficult tasks (up to days and weeks). Parallel reasoning offers a natural remedy. However, prior systems primarily focus on Subtask Parallelism, where the model learns to decompose a high-level task into smaller chunks that can be solved independently. This approach overlooks another pervasive form of parallelism: Trial Parallelism, where multiple speculative attempts explore, verify, and aggregate competing hypotheses in parallel. In this paper, we introduce Parason, which reveals and learns both forms of parallelism in LLM reasoning. Our analysis identifies Trial Parallelism as the majority of parallelizable reasoning computation (65.5% in DeepSeek-V4's reasoning steps in HLE), and it becomes increasingly dominant on hard problems. Guided by this taxonomy, Parason converts sequential reasoning traces into structured parallel trajectories with a context-free grammar, then trains models with Parallelism-Aware Group Relative Policy Optimization (PA-GRPO), whose reward jointly balances accuracy, latency, and the two parallelism ratios. At inference time, Parason executes the learned parallel structure through tool calls, translating theoretical savings to real-world wall-clock acceleration. Experiments on mathematical reasoning benchmarks including AIME24 and AIME25 show that Parason achieves an average acceleration about 1.7$\times$ while maintaining competitive accuracy.
Abstract（参考訳）: テスト時間推論のスケーリングは、大規模言語モデル(LLM)の問題解決能力を大幅に向上させたが、標準的な自己回帰復号化は、依然として長い推論トレースを順次実行し、難しいタスク(数日や数週間)に深刻なレイテンシを発生させる。並列推論は自然な治療を提供する。しかし、以前のシステムは主にSubtask Parallelismに焦点をあてており、そこではモデルがハイレベルなタスクを独立して解決できる小さなチャンクに分解することを学ぶ。試行パラレル主義(Trial Parallelism)では、複数の投機的試みが並列に競合する仮説を探索し、検証し、集約する。本稿では,LLM推論における並列性の両形態を明らかにし,学習するParasonを紹介する。我々の分析では、並列化可能な推論計算の大多数(HLEにおけるDeepSeek-V4の推論ステップの65.5%)が試行並列性であり、ますます難しい問題に支配されるようになっている。この分類法で導かれたパラソンは、シーケンシャルな推論トレースを文脈のない文法で構造化された並列軌跡に変換し、次にパラレル主義・アウェアグループ相対ポリシー最適化(PA-GRPO)を用いてモデルのトレーニングを行い、その報酬は精度、レイテンシ、および2つの並列性比を共同でバランスさせる。推論時に、Parasonはツールコールを通じて学習された並列構造を実行し、理論的な保存を現実のウォールクロックアクセラレーションに変換する。 AIME24 や AIME25 などの数学的推論ベンチマークの実験では、パラソンの平均加速度は1.7$\times$ であり、競争精度は維持されている。

関連論文リスト

LACE: Lattice Attention for Cross-thread Exploration [19.89703144721346]
LACEは独立した試行の集合から協調された並列プロセスへと推論を変換するフレームワークである。 LACEは、同時推論パスで中間的な洞察を共有し、推論中に相互に修正することを可能にする。実験により、この統一探索は標準並列探索よりも大幅に優れており、推論精度が7点以上向上していることが示された。
論文参考訳（メタデータ） (2026-04-16T21:19:35Z)
Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing [76.48164395646019]
Parallel-Probeは、オンライン並列思考を最適化するために設計されたトレーニング不要のコントローラである。競合精度を維持しつつ、シーケンシャルトークンを最大$textbf35.8$%、トータルトークンコストを$textbf25.8$%まで削減する。
論文参考訳（メタデータ） (2026-02-03T18:59:41Z)
ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models [99.6720868215076]
適応並列推論のためのフレームワークThreadWeaverを紹介します。 ThreadWeaverは、同等サイズの一般的なシーケンシャル推論モデルと同等の精度を達成する。 ThreadWeaverはトークンのレイテンシの平均速度を最大1.53倍にします。
論文参考訳（メタデータ） (2025-11-24T18:55:59Z)
A Survey on Parallel Reasoning [58.66122129692264]
まず、並列推論の形式的定義を示し、その区別をChain-of-Thoughtのような関連する概念と明確にする。次に、非対話的推論、対話的推論、効率を重視した復号戦略を含む、新しい分類法に基づく高度な手法を編成し、議論する。並列推論の中核的な課題を強調し,今後の研究の方向性を示唆する。
論文参考訳（メタデータ） (2025-10-14T05:42:19Z)
Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models [54.81955614221652]
同時トークン更新を可能にする並列デコード。厳格な推論にしばしば必要とされる因果順序と競合する。単純な推論タスクと複雑な推論タスクの両方において、DLLMは直接決定可能な出力に対してのみ真の並列性を示すことを示す。そこで本研究では,PSCによる非効率性と非効率性を低減するために,いくつかの実用的な緩和,並列指向プロンプト,拡散早期停止,並列スケーリングを提案する。
論文参考訳（メタデータ） (2025-10-10T16:58:14Z)
ParallelBench: Understanding the Trade-offs of Parallel Decoding in Diffusion LLMs [31.387806058620683]
拡散LDMは、並列復号による推論を劇的に加速する可能性への関心が高まっている。既存の作業は、これらの固有の課題を概ね見落としており、標準ベンチマークによる評価は、並列復号による品質劣化を捉えるのに十分ではない。そこで我々は,DLLMに特化して設計された最初のベンチマークであるParallelBenchを提案する。我々の発見は、現在のスピード品質のトレードオフを克服できる革新的な復号法の必要性を強調している。
論文参考訳（メタデータ） (2025-10-06T12:41:31Z)
Parallel-R1: Towards Parallel Thinking via Reinforcement Learning [65.68667585027232]
並列思考は、大規模言語モデルの推論能力を高めるための新しいアプローチである。並列思考行動を可能にする最初の強化学習フレームワークである textbfParallel-R1 を提案する。本フレームワークでは,並列思考のトレーニングにおいて,コールドスタート問題に明示的に対処する漸進的なカリキュラムを採用している。
論文参考訳（メタデータ） (2025-09-09T17:59:35Z)
Dynamic Parallel Tree Search for Efficient LLM Reasoning [102.16694475391665]
Tree of Thoughts (ToT) は大規模言語モデル(LLM)推論を強化し、分散木としての問題解決を構造化する。推論における推論経路を動的に最適化することを目的とした,新しい並列化フレームワークであるDynamic Parallel Tree Search (DPTS)を提案する。 Qwen-2.5とLlama-3のMath500とGSM8Kデータセットによる実験では、DPTSは平均で2-4倍効率が向上した。
論文参考訳（メタデータ） (2025-02-22T14:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。