論文の概要: PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning
- arxiv url: http://arxiv.org/abs/2601.05593v1
- Date: Fri, 09 Jan 2026 07:24:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-12 17:41:49.893629
- Title: PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning
- Title（参考訳）: PaCoRe: 並列コーディネート推論によるテスト時間計算のスケール学習
- Abstract要約: PaCoReは、現代の言語モデルの中心的な制限を克服するために設計されたトレーニングと推論のフレームワークである。
PaCoReは、複数のラウンドでメッセージパッシングアーキテクチャを介して調整された巨大な並列探索を通じてTTCを駆動することで、従来のシーケンシャルパラダイムから逸脱する。
大規模で結果に基づく強化学習を備えたエンドツーエンドで訓練されたモデルでは、PaCoReに必要な合成能力を習得し、コンテキスト制限を超えることなく、数百万の効果的なTTCにスケールする。
- 参考スコア（独自算出の注目度）: 62.55836470496192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Parallel Coordinated Reasoning (PaCoRe), a training-and-inference framework designed to overcome a central limitation of contemporary language models: their inability to scale test-time compute (TTC) far beyond sequential reasoning under a fixed context window. PaCoRe departs from the traditional sequential paradigm by driving TTC through massive parallel exploration coordinated via a message-passing architecture in multiple rounds. Each round launches many parallel reasoning trajectories, compacts their findings into context-bounded messages, and synthesizes these messages to guide the next round and ultimately produce the final answer. Trained end-to-end with large-scale, outcome-based reinforcement learning, the model masters the synthesis abilities required by PaCoRe and scales to multi-million-token effective TTC without exceeding context limits. The approach yields strong improvements across diverse domains, and notably pushes reasoning beyond frontier systems in mathematics: an 8B model reaches 94.5% on HMMT 2025, surpassing GPT-5's 93.2% by scaling effective TTC to roughly two million tokens. We open-source model checkpoints, training data, and the full inference pipeline to accelerate follow-up work.
- Abstract（参考訳）: 本稿では,現代の言語モデルの中心的制約を克服する訓練と推論のフレームワークであるPallel Coordinated Reasoning(PaCoRe)を紹介した。
PaCoReは、複数のラウンドでメッセージパッシングアーキテクチャを介して調整された巨大な並列探索を通じてTTCを駆動することで、従来のシーケンシャルパラダイムから逸脱する。
各ラウンドは、複数の並列推論トラジェクトリを起動し、結果をコンテキスト境界のメッセージに圧縮し、これらのメッセージを合成して次のラウンドを案内し、最終的に最終回答を生成する。
大規模で結果に基づく強化学習を備えたエンドツーエンドで訓練されたモデルでは、PaCoReに必要な合成能力を習得し、コンテキスト制限を超えることなく、数百万の効果的なTTCにスケールする。
8BモデルはHMMT 2025で94.5%に達し、GPT-5の93.2%を超える。
私たちは、追跡作業を加速するために、モデルチェックポイント、トレーニングデータ、完全な推論パイプラインをオープンソースにしています。
関連論文リスト
- ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。
エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。
ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
論文 参考訳（メタデータ） (2026-09-11T17:18:04Z) - In-Place Test-Time Training [32.521599123691026]
In-Place Test-Time Training (In-Place TTT)は、テスト時間トレーニングを備えた大規模言語モデルをシームレスに提供するフレームワークである。
In-Place TTTは、ユビキタスブロックの最終射影行列を適応可能な高速ウェイトとして扱う。
我々は,TTTの汎用的な再構築目標を,次世代のToken-Predictionタスクに合わせた,理論的に整った目標に置き換える。
論文 参考訳（メタデータ） (2026-04-07T17:59:44Z) - D-COT: Disciplined Chain-of-Thought Learning for Efficient Reasoning in Small Language Models [0.0]
Disciplined Chain-of-Thought (D-CoT)は、制御タグを使用して構造化推論プロセスを実行するフレームワークである。
D-CoTは推論ドリフトを抑制し、トークンの低減と性能改善を同時に達成する。
論文 参考訳（メタデータ） (2026-02-25T11:08:38Z) - ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models [99.6720868215076]
適応並列推論のためのフレームワークThreadWeaverを紹介します。
ThreadWeaverは、同等サイズの一般的なシーケンシャル推論モデルと同等の精度を達成する。
ThreadWeaverはトークンのレイテンシの平均速度を最大1.53倍にします。
論文 参考訳（メタデータ） (2025-11-24T18:55:59Z) - Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。
これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。
現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか?
i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文 参考訳（メタデータ） (2025-10-01T17:08:59Z) - Parallel-R1: Towards Parallel Thinking via Reinforcement Learning [65.68667585027232]
並列思考は、大規模言語モデルの推論能力を高めるための新しいアプローチである。
並列思考行動を可能にする最初の強化学習フレームワークである textbfParallel-R1 を提案する。
本フレームワークでは,並列思考のトレーニングにおいて,コールドスタート問題に明示的に対処する漸進的なカリキュラムを採用している。
論文 参考訳（メタデータ） (2025-09-09T17:59:35Z) - DeltaLLM: A Training-Free Framework Exploiting Temporal Sparsity for Efficient Edge LLM Inference [19.987309147268586]
デルタLLMは、リソース制約エッジデバイス上での効率的なLCM推論を実現するために、注意パターンの時間的間隔を利用する訓練不要のフレームワークである。
我々は、エッジデバイスフレンドリーなBitNet-b1.58-2B-4TモデルとLlama3.2-1B-Instructモデルについて、様々な言語タスクで評価する。
論文 参考訳（メタデータ） (2025-07-25T18:23:18Z) - Medha: Efficiently Serving Multi-Million Context Length LLM Inference Requests Without Approximations [8.725115559974999]
長期コンテキスト推論のための既存の作業は、主に長期コンテキストトレーニングのテクニックに基づいていることを示す。
これにより、非効率なリソース利用、サーバの断片化、ヘッド・オブ・ライン(HOL)ブロッキングにつながる。
我々は、効率的な長文推論のためのエンドツーエンドシステムであるMedhaを提案する。
論文 参考訳（メタデータ） (2024-09-25T18:21:05Z) - Pre-training for Speech Translation: CTC Meets Optimal Transport [29.807861658249923]
本研究では,コネクショニスト時間分類(CTC)の損失が設計によるモダリティギャップを減少させることを示す。
本稿では,CTCと最適輸送を組み合わせた新しい事前学習手法を提案する。
本手法では,2つのエンコーダ,1つは音響入力用,もう1つはテキスト入力用で構成され,ワッサーシュタイン空間において互いに近接した表現を生成する。
論文 参考訳（メタデータ） (2023-01-27T14:03:09Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。