論文の概要: KnitTrans: Coordinated Trajectory Transfer for Effective and Efficient LLM Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.32389v1
• Date: Fri, 23 Oct 2026 09:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.444887
• Title: KnitTrans: Coordinated Trajectory Transfer for Effective and Efficient LLM Reinforcement Learning
• Title（参考訳）: KnitTrans: 効率的なLLM強化学習のための協調軌道伝達
• Abstract要約: KnitTrans(ニットトランス)は、3つのデザインを通じてトレーニングパスを調整するシステムである。 電車乗り入れの入場率より建築上の安定性が最大で93%低下した。 マルチモーダルワークロードでは、KnitTransは転送遅延を桁違いに削減し、転送とトレーニングで最大5.8倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 6.601903125251513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Trajectory transfer from rollout to training affects both learning quality and system efficiency in large language model reinforcement learning (RL). Enforcing batch-wide training requirements can delay the admission of completed trajectories, resulting in higher architectural staleness: the additional parameter-version gap from disaggregated pipelining relative to colocated execution. Beyond admission, misalignment between data access and training consumption causes redundant movement and unnecessary waiting when transferring large trajectory payloads. We present KnitTrans, a system that coordinates the rollout-to-training path through three designs. First, constraint-preserving mini-batch admission allows flexibility in early mini-batch composition, while checking that enough capacity remains to satisfy the remaining quotas. Second, on-demand trajectory data access matches storage units to consumer assignments and overlaps micro-batch data preparation with computation. Third, multimodal encoding deduplication supports reuse across a mini-batch while preserving gradient contributions from all backbone micro-batches. Experiments show up to 93% lower architectural staleness than with train-batch admission, narrowing the learning-quality gap between disaggregated execution and colocated execution. On multimodal workloads, KnitTrans reduces transfer latency by two orders of magnitude and achieves a speedup of up to 5.8 times in transfer plus training over the baseline.
• Abstract（参考訳）: 大規模言語モデル強化学習(RL)において,ロールアウトからトレーニングへの軌道伝達は学習品質とシステム効率の両方に影響を及ぼす。 バッチ・ワイド・トレーニング・要件の実施は、完了した軌道の受け入れを遅らせる可能性があり、結果としてアーキテクチャ上の安定性が向上する。 入場だけでなく、データアクセスとトレーニング消費のミスアライメントは、大きな軌道ペイロードを転送する際に余分な移動と不要な待機を引き起こす。 KnitTransは,3つの設計を通じて学習経路を協調するシステムである。 第一に、制約を保存するミニバッチの入場は、初期ミニバッチの構成の柔軟性を許容し、残りのクォータを満たすのに十分なキャパシティが残っていることをチェックする。 第二に、オンデマンドのトラジェクトリデータアクセスは、ストレージユニットとコンシューマの割り当てとを一致させ、マイクロバッチデータ準備と計算を重複させる。 第3に、マルチモーダル符号化復号化は、すべてのバックボーンマイクロバッチからの勾配のコントリビューションを保持しながら、ミニバッチ全体の再利用をサポートする。 実験では、列車バッチの受け入れよりも93%低いアーキテクチャの安定性を示し、非凝集型実行とコロケーション型実行の間の学習品質のギャップを狭める。 マルチモーダルワークロードでは、KnitTransは転送遅延を桁違いに削減し、ベースライン上でのトレーニングに加えて、最大5.8倍の転送速度を達成する。

関連論文リスト

• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling [11.252930904797]
  重要サンプリングを用いた並列制御部分ロールアウト(CoPRIS)を提案する。 CoPRISは、一定数の同時ロールアウトを維持し、十分なサンプルが収集されたら早期終了し、その後のロールアウトで未完成のトラジェクトリを再利用することで、長いテールの非効率を緩和する。 実験の結果、CoPRISは同期RLシステムに匹敵する性能を維持しながら、最大1.94倍高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2025-11-05T11:39:32Z)
• Sprint: Sparse-Dense Residual Fusion for Efficient Diffusion Transformers [91.02299679350834]
  Diffusion Transformer (DiTs) は最先端の生成性能を提供するが、シークエンス長の2次トレーニングコストは大規模な事前訓練を不当に高価にする。 本稿では,高効率拡散変換器のためのスパース-デンス残差核融合法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T19:29:55Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Efficient Remote Sensing with Harmonized Transfer Learning and Modality Alignment [0.0]
  ハーモナイズドトランスファーラーニングとモダリティアライメント(HarMA)は,タスク制約,モダリティアライメント,単一モダリティアライメントを同時に満足する手法である。 HarMAはリモートセンシング分野における2つの一般的なマルチモーダル検索タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-04-28T17:20:08Z)
• TRANSOM: An Efficient Fault-Tolerant System for Training LLMs [7.831906758749453]
  数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、チャットGPTによって表現され、様々な分野に大きな影響を与えている。 超大規模パラメータによるLLMのトレーニングには、大規模な高性能GPUクラスタと、数ヶ月にわたる長いトレーニング期間が必要である。 これらの課題に対処するため,新しい耐故障性LLMトレーニングシステムであるTransOMを提案する。
  論文  参考訳（メタデータ） (2023-10-16T04:06:52Z)
• Accelerating Transfer Learning with Near-Data Computation on Cloud Object Stores [4.774170751209782]
  我々は、転送学習(TL)に着目して、MLトレーニングがストレージのプッシュダウンにどう影響するかを示す。 本稿では,分解に伴う課題に対処する2つの補完技術を中心に,新たなTL処理システムであるHAPIを提案する。
  論文  参考訳（メタデータ） (2022-10-16T22:28:36Z)
• Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp [119.69304125647785]
  本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。 具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。 また, 建設過程を自動案内する判別器を開発した。
  論文  参考訳（メタデータ） (2020-11-30T01:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。