論文の概要: Consolidating Reasoning with Test-Time Training

• arxiv url: http://arxiv.org/abs/2611.02104v1
• Date: Sun, 01 Nov 2026 18:18:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.52709
• Title: Consolidating Reasoning with Test-Time Training
• Title（参考訳）: テスト時間トレーニングによる強化推論
• Abstract要約: TTT-Consolidateは、モデルの後続の推論を改善するために、適応データとしてマルチエージェント推論トラジェクトリを使用するフレームワークである。 我々は6つのLLMの軌跡を混合した12,810の数学問題からなるOpenParallelThinkingコーパスを構築した。
• 参考スコア（独自算出の注目度）: 28.21476761600349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective multi-agent collaboration requires finalizing solutions from reasoning that is distributed across the individual attempts of many agents. However, useful intermediate reasoning can remain unexploited when collaboration is limited to voting on conclusions reached among individual agents, or aggregating long, noisy collections of reasoning trajectories in context. In this work, we propose TTT-Consolidate, a framework that uses multi-agent reasoning trajectories as adaptation data to improve a model's subsequent reasoning. TTT-Consolidate jointly consolidates trajectories into parametric representations through test-time training, then generates a new solution by conditioning on the consolidated information. We meta-learn how to consolidate using bi-level optimization at training time, where an inner loop encodes reasoning trajectories into a lightweight LoRA adapter, and an outer loop learns meta-parameters for the inner loop such that the consolidation is helpful for the model to synthesize a final solution. As no large-scale corpus of diverse reasoning trajectories exists for training aggregation methods, we construct the OpenParallelThinking corpus composed of 12,810 math problems paired with a mixture of trajectories from six LLMs. Evaluated on challenging math and STEM benchmarks, TTT-Consolidate outperforms the best aggregation baselines by up to 20 percentage points, even under matched compute and runtime settings, with the gap widening at larger model scales. TTT-Consolidate also recovers from unsuccessful individual trajectories more robustly, an ability that improves as the number of available (even incorrect) trajectories increases. Finally, we demonstrate that TTT-Consolidate benefits from both SFT and RL-based outer loop objectives. We will release TTT-Consolidate and OpenParallelThinking for use in future work on reasoning aggregation.
• Abstract（参考訳）: 効果的なマルチエージェントコラボレーションでは、多くのエージェントの個々の試みに分散する推論からソリューションを確定する必要がある。 しかし、共同作業が個々のエージェント間で到達した結論に関する投票に限られている場合や、文脈における推論軌跡の長い騒々しいコレクションを集約する場合、有用な中間推論は未解決のままである。 本研究では,マルチエージェント推論トラジェクトリを適応データとして用い,モデルの後続の推論を改善するフレームワークであるTT-Consolidateを提案する。 TTT-Consolidateは、テストタイムトレーニングを通じて軌道をパラメトリック表現に結合し、統合された情報に条件付けして新しい解を生成する。 内部ループが推論軌道を軽量のLoRAアダプタにエンコードし、外部ループが内部ループのメタパラメータを学習することにより、モデルが最終解を合成するのに役立つ。 多様な推論軌道の大規模コーパスは存在しないため、6つのLLMの混合軌跡と組み合わせた12,810の数学問題からなるOpenParallelThinkingコーパスを構築した。 挑戦的な数学とSTEMベンチマークに基づいて評価すると、TT-Consolidateは、一致した計算や実行時設定の下でも、最高の集約ベースラインを最大20パーセント上回り、より大きなモデルスケールでのギャップが広がる。 TTT-コンソリデートはまた、個々の軌道をより堅牢に回収し、利用可能な(誤った)軌道の数が増加するにつれて改善する。 最後に, TTT-Consolidate は SFT と RL をベースとした外ループ目的の双方の利点を示す。 TTT-Consolidate と OpenParallelThinking を今後の推論アグリゲーションの作業に使用するためにリリースします。

関連論文リスト

• TMAS: Scaling Test-Time Compute via Multi-Agent Synergy [17.644613845744388]
  テストタイムスケーリングは、大規模言語モデルの推論能力を改善するための効果的なパラダイムとなっている。 マルチエージェント・シナジーによるテスト時間計算のスケーリングを行うフレームワークであるTMASを提案する。 TMASが既存のテスト時間スケーリングベースラインよりも強力な反復スケーリングを実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-11T10:44:10Z)
• In-Place Test-Time Training [32.521599123691026]
  In-Place Test-Time Training (In-Place TTT)は、テスト時間トレーニングを備えた大規模言語モデルをシームレスに提供するフレームワークである。 In-Place TTTは、ユビキタスブロックの最終射影行列を適応可能な高速ウェイトとして扱う。 我々は,TTTの汎用的な再構築目標を,次世代のToken-Predictionタスクに合わせた,理論的に整った目標に置き換える。
  論文  参考訳（メタデータ） (2026-04-07T17:59:44Z)
• Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks [48.105258051884384]
  本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。 第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
  論文  参考訳（メタデータ） (2026-01-09T08:19:11Z)
• DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
  Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。 既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。 我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
  論文  参考訳（メタデータ） (2025-12-23T08:33:19Z)
• Parallel Test-Time Scaling for Latent Reasoning Models [58.428340345068214]
  並列テスト時間スケーリング(TTS)は、大規模言語モデル(LLM)の拡張のための重要なアプローチである。 連続ベクトル空間において中間的推論が展開する潜在的推論の最近の進歩は、明示的なチェーン・オブ・サート(Chain-of-Thought)に対するより効率的な代替手段を提供する。 この作業は、上記の問題に対処することで、潜在推論モデルに対する並列TSを可能にする。
  論文  参考訳（メタデータ） (2025-10-09T03:33:00Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning [54.65050470296886]
  本研究では,跳躍を自動的に検出し,中間的推論ステップを欠くことを目的としたCoT Thought Leap Bridge Taskを提案する。 ブリッジされたデータセットに微調整されたモデルが、元のデータセットでトレーニングされたモデルよりも一貫して優れていることを示す。 提案手法は, 蒸留データを効果的に向上させ, 強化学習の出発点として優れたものを提供する。
  論文  参考訳（メタデータ） (2025-05-20T17:59:31Z)
• Transformer-based assignment decision network for multiple object tracking [2.2920634931825803]
  本稿では,データアソシエーションに取り組むトランスフォーマーベースのアサインメント決定ネットワーク(TADN)について,推論中に明示的な最適化を必要とせずに紹介する。 提案手法は,トラッカーとしての単純な性質にもかかわらず,ほとんどの評価指標において高い性能を示す。
  論文  参考訳（メタデータ） (2022-08-06T19:47:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。