論文の概要: Parallel Thinking for Large Language Model with Path Diversity

• arxiv url: http://arxiv.org/abs/2610.29501v1
• Date: Wed, 21 Oct 2026 09:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.305381
• Title: Parallel Thinking for Large Language Model with Path Diversity
• Title（参考訳）: パスの多様性を考慮した大規模言語モデルの並列思考
• Abstract要約: パスの多様性を促進するために,DPT(Diverse Parallel Thinking)を提案する。 DPTは、並列思考経路の接頭辞類似性を罰することにより、異なる推論戦略を開発するモデルに報いる。 DPTの有効性を実証するために、複数の推論ベンチマークで様々な実験と分析を行った。
• 参考スコア（独自算出の注目度）: 56.086417072932875
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parallel thinking has emerged as a promising paradigm for enhancing the reasoning capabilities of Large Language Models (LLMs) by exploring multiple reasoning paths simultaneously. However, we identify that parallel thinking via Reinforcement Learning (RL) typically suffers from the mode collapse of reasoning paths, where parallel thinking trajectories degenerate into similar ones. This homogeneity undermines the fundamental motivation of parallel thinking, that is, maintaining multiple hypotheses concurrently to prevent premature loss into a suboptimal solution. In this paper, we propose Diverse Parallel Thinking (DPT), a simple yet effective RL approach for parallel thinking designed to encourage path diversity. DPT rewards the model to develop distinct reasoning strategies by penalizing the prefix similarity of parallel thinking paths, thereby enhancing a more comprehensive exploration of the reasoning space. We conduct various experiments and analyses across multiple reasoning benchmarks to demonstrate the effectiveness of DPT. Results show that DPT successfully outperforms previous parallel thinking methods, achieving state-of-the-art performance over baselines. We validate path diversity as a key element to improve parallel thinking. Our code is available at https://github.com/JiaruQian/DPT.
• Abstract（参考訳）: 並列思考は,複数の推論経路を同時に探索することによって,Large Language Models (LLM) の推論能力を高めるための,有望なパラダイムとして登場した。 しかし、Reinforcement Learning (RL) による並列思考は、典型的には推論経路のモード崩壊に苦しむ。 この均質性は並列思考の基本的な動機を損なうもので、複数の仮説を同時に維持することで、準最適解への早期の損失を防ぐ。 本稿では、経路の多様性を促進するために設計された並列思考のための単純かつ効果的なRLアプローチであるDPT(Diverse Parallel Thinking)を提案する。 DPTは、並列思考経路の接頭辞類似性をペナルティ化し、推論空間のより包括的な探索を強化することによって、独自の推論戦略を開発するモデルに報いる。 DPTの有効性を実証するために、複数の推論ベンチマークで様々な実験と分析を行った。 その結果, DPT は従来の並列思考手法より優れており, ベースライン上での最先端性能を実現していることがわかった。 並列思考を改善する重要な要素としてパスの多様性を検証する。 私たちのコードはhttps://github.com/JiaruQian/DPTで公開されています。

関連論文リスト

• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• Visual Para-Thinker: Divide-and-Conquer Reasoning for Visual Comprehension [21.061012027477076]
  MLLMの最初の並列推論フレームワークであるVisual Para-Thinkerを紹介する。 経路独立性を維持し,推論における多様性を促進するため,LPRoPEとPa-Attentionを統合した。 V*、CountBench、RefCOCO、HalusionBenchといったベンチマークデータセットの実証的な結果によると、Visual Para-Thinkerは、並列推論の利点をビジュアルドメインに拡張することに成功している。
  論文  参考訳（メタデータ） (2026-02-10T03:53:25Z)
• Parallel-Probe: Towards Efficient Parallel Thinking via 2D Probing [76.48164395646019]
  Parallel-Probeは、オンライン並列思考を最適化するために設計されたトレーニング不要のコントローラである。 競合精度を維持しつつ、シーケンシャルトークンを最大$textbf35.8$%、トータルトークンコストを$textbf25.8$%まで削減する。
  論文  参考訳（メタデータ） (2026-02-03T18:59:41Z)
• A Survey on Parallel Reasoning [58.66122129692264]
  まず、並列推論の形式的定義を示し、その区別をChain-of-Thoughtのような関連する概念と明確にする。 次に、非対話的推論、対話的推論、効率を重視した復号戦略を含む、新しい分類法に基づく高度な手法を編成し、議論する。 並列推論の中核的な課題を強調し,今後の研究の方向性を示唆する。
  論文  参考訳（メタデータ） (2025-10-14T05:42:19Z)
• Parallel-R1: Towards Parallel Thinking via Reinforcement Learning [65.68667585027232]
  並列思考は、大規模言語モデルの推論能力を高めるための新しいアプローチである。 並列思考行動を可能にする最初の強化学習フレームワークである textbfParallel-R1 を提案する。 本フレームワークでは,並列思考のトレーニングにおいて,コールドスタート問題に明示的に対処する漸進的なカリキュラムを採用している。
  論文  参考訳（メタデータ） (2025-09-09T17:59:35Z)
• Thinking with Nothinking Calibration: A New In-Context Learning Paradigm in Reasoning Large Language Models [28.756240721942138]
  RLLM(Reasoning large language model)は、最近、構造化および多段階推論によって顕著な機能を示した。 我々は新しいICLパラダイムであるThinking with Nothinking (JointThinking)を提案する。 JointThinkingは、数発のチェーン・オブ・シークレット(CoT)を2回、過半数で上回っている。
  論文  参考訳（メタデータ） (2025-08-05T12:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。