論文の概要: Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget

• arxiv url: http://arxiv.org/abs/2608.00916v1
• Date: Sun, 02 Aug 2026 00:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.024447
• Title: Tevatron Meets Megatron: Expert-Parallel LLM Reranker Training on an Academic Budget
• Title（参考訳）: テバトロン、メタトロンと出会う。学術予算で訓練する専門家のLLM
• Abstract要約: 私たちはMegatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 MegatronはFSDPのリランカ品質とトレーニング効率を同等のデータ並列設定で比較した。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。
• 参考スコア（独自算出の注目度）: 72.7352550413971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern reranking recipes---billion-scale cross-encoders, mixture-of-experts (MoE) backbones, and distillation against strong teachers---have outpaced the training infrastructure available to most academic groups. Existing Tevatron reranker training relies on the Hugging Face Trainer with DeepSpeed or PyTorch FSDP1, but these backends lack efficient support for large-scale MoE training. We present Tevatron 3.0, which integrates a Megatron-Core training backend into Tevatron while preserving its data pipeline, evaluation workflow, and Hugging Face-compatible checkpoints. We benchmark existing distributed training configurations against the new backend, showing that Megatron matches FSDP reranker quality and training efficiency under comparable data-parallel settings, is up to 22% faster in the recommended single-node configuration, and supports both LoRA and full-parameter fine-tuning. Crucially, expert parallelism enables training a 30B-parameter Qwen3-30B-A3B MoE reranker, which is infeasible with PyTorch FSDP1. Using this framework, we conduct a controlled comparison of MoE versus dense models, LoRA versus full-parameter tuning, and distillation versus contrastive training on BEIR-15 with three first-stage retrievers, and report serving throughput for Hugging Face and vLLM. We find that the MoE reranker matches dense 8B quality while activating less than half as many parameters and achieving substantially higher inference throughput. We will release the framework and trained checkpoints.
• Abstract（参考訳）: 現代のレシピは、ビリオンスケールのクロスエンコーダ、ME(Mix-of-Experts)バックボーン、強力な教師に対する蒸留が、ほとんどの学術グループで利用可能なトレーニングインフラを上回りました。 既存のテバトロンリランカトレーニングは、Hugging Face Trainer with DeepSpeedまたはPyTorch FSDP1に依存しているが、これらのバックエンドは大規模なMoEトレーニングを効率的にサポートしていない。 私たちは、データパイプライン、評価ワークフロー、Hugging Face互換のチェックポイントを維持しながら、Megatron-CoreトレーニングバックエンドをTevatronに統合したTevatron 3.0を紹介します。 我々は、既存の分散トレーニング設定を新しいバックエンドに対してベンチマークし、MegatronがFSDPリランカの品質とトレーニング効率を同等のデータ並列設定で一致させ、推奨シングルノード設定で最大22%高速にし、LoRAとフルパラメータの微調整の両方をサポートすることを示した。 重要な点として、専門家の並列性は30BパラメーターのQwen3-30B-A3B MoEリランカの訓練を可能にし、これはPyTorch FSDP1では実現できない。 このフレームワークを用いて,MoE と高密度モデル,LoRA とフルパラメータチューニング,BEIR-15 と3つの第1段レトリバーによる蒸留とコントラストトレーニングを比較し,Hugging Face と vLLM の処理スループットを報告する。 その結果,MoEリランカは高密度の8B品質と一致し,パラメータの半数以下を活性化し,推論スループットを著しく向上することがわかった。 フレームワークとトレーニングされたチェックポイントをリリースします。

関連論文リスト

• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism [11.019309466529643]
  本稿では,各RLHFイテレーションの生成段階でTPを再構成する適応型TP手法であるPATを提案する。 オンライン再構成メカニズムは、TPの変更によって影響を受ける状態とレイアウトだけを更新する。 PATは、オリジナルのVeRLセットアップと比較して、生成遅延を最大34.6%削減し、エンドツーエンドのRLHFトレーニングレイテンシを最大27.2%削減する。
  論文  参考訳（メタデータ） (2026-05-03T05:53:32Z)
• Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning [262.0414794728708]
  ネモトロン3スーパーの事前学習、後学習、量子化について述べる。 Nemotron 3 Superは1200億(アクティブ120億)のパラメータハイブリッドMamba-Attention Mixture-of-Expertsモデルである。
  論文  参考訳（メタデータ） (2026-04-14T07:02:32Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• Continual Pre-training of MoEs: How robust is your router? [31.784662011106196]
  Mixture of Experts (MoE) トランスフォーマーは、基礎モデルのための有望なアーキテクチャである。 MoEは、トレーニング時のサンプル効率の改善と、より強力なパフォーマンスの恩恵を受ける。 完全再学習したMoEの性能を,MoEのコストのごく一部で一致させることができることを示す。
  論文  参考訳（メタデータ） (2025-03-06T22:55:01Z)
• Mixed Sparsity Training: Achieving 4$\times$ FLOP Reduction for Transformer Pretraining [32.925150708409205]
  混合空間訓練(Mixed Sparsity Training、MST)は、性能を維持しながら、約75%の浮動小数点演算(FLOP)を削減できる効率的な事前訓練法である。 GPT-2の実験では、FLOPの4倍の4倍の値が、性能を損なうことなく得られることを示した。
  論文  参考訳（メタデータ） (2024-08-21T16:13:16Z)
• Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers [107.3726071306935]
  そこで我々は,SMoE-Dropoutというプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 SMoE-Dropoutはランダムで固定されたルータネットワークで構成され、エキスパートを活性化し、トレーニングが進むにつれて、アクティベートされたエキスパート数を徐々に増加させる。 本実験では,SMoE-Dropout の高密度トレーニングベースラインと等価パラメータ数との比較により,SMoE-Dropout の優れた性能と計算精度を実証した。
  論文  参考訳（メタデータ） (2023-03-02T22:12:51Z)
• Residual Mixture of Experts [75.5489156421442]
  Residual Mixture of Experts (RMoE)は、下流タスクにおけるMoEビジョントランスフォーマーの効率的なトレーニングパイプラインである。 RMoEは上向きのMoEトレーニングで同等の結果を得るが、追加のトレーニングコストはわずかである。
  論文  参考訳（メタデータ） (2022-04-20T17:29:48Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。