Fugu-MT 論文翻訳(概要): FastCI: Efficient GPU-Intensive CI for LLM Training Frameworks

論文の概要: FastCI: Efficient GPU-Intensive CI for LLM Training Frameworks

arxiv url: http://arxiv.org/abs/2610.01967v1
Date: Thu, 01 Oct 2026 16:18:14 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:24.272852
Title: FastCI: Efficient GPU-Intensive CI for LLM Training Frameworks
Title（参考訳）: FastCI: LLMトレーニングフレームワークのための効率的なGPU集約型CI
Abstract要約: 我々は、大規模な言語モデル(LLM)トレーニングフレームワークの継続的インテグレーションの効率を改善するフレームワークであるFastCIを紹介します。 FastCIは、現在デプロイされているCIパイプラインと比較して、CIレイテンシを77.5%削減し、GPUリソース使用量を63.9%削減する。
参考スコア（独自算出の注目度）: 10.029382026980006
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As large language models (LLMs) keep growing in size and complexity, their training frameworks evolve at a rapid pace as well. Therefore, continuous integration (CI) is critical for maintaining the quality and stability of these frameworks. However, unlike traditional software, CI for LLM training frameworks relies on GPU-intensive tests, which usually involve complete model training or evaluation. This leads CI itself to become a new bottleneck for fast-paced development. In this paper, we introduce FastCI, a framework that improves the efficiency of CI for LLM training frameworks. FastCI leverages runtime evidence to select affected tests and prune tests that execute changed code in equivalent contexts. Then FastCI prioritizes high-risk tests to expose potential failures earlier, and optimizes test workloads along dimensions outside the intended validation scope of each test. Evaluated on the CI workload of our LLM training framework, FastCI reduces the CI latency by 77.5% and the GPU resource usage by 63.9%, while improving the modified code coverage retention by 3.2%, compared with the currently deployed CI pipelines. FastCI has now been integrated into the CI pipelines of our LLM training framework at ByteDance.
Abstract（参考訳）: 大きな言語モデル(LLM)のサイズと複雑さが拡大するにつれて、トレーニングフレームワークも急速に進化します。したがって、これらのフレームワークの品質と安定性を維持するためには、継続的インテグレーション(CI)が不可欠です。しかしながら、従来のソフトウェアとは異なり、CI for LLMトレーニングフレームワークはGPU集約テストに依存しており、通常は完全なモデルトレーニングや評価を伴います。これによりCI自体が、迅速な開発のための新たなボトルネックになるのです。本稿では,LLMトレーニングフレームワークのCI効率を改善するフレームワークであるFastCIを紹介する。 FastCIはランタイムエビデンスを利用して、影響を受けるテストを選択し、変更したコードを等価なコンテキストで実行するプルーンテストを実行する。次に、FastCIはリスクの高いテストを優先順位付けして、潜在的な障害を早期に公開し、各テストの意図した検証範囲外の次元に沿ってテストワークロードを最適化する。 LLMトレーニングフレームワークのCIワークロードに基づいて、FastCIはCIレイテンシを77.5%削減し、GPUリソース使用量を63.9%削減すると同時に、修正されたコードカバレッジの保持率を、現在デプロイされているCIパイプラインと比較して3.2%改善する。 FastCIはByteDanceのLLMトレーニングフレームワークのCIパイプラインに統合されました。

関連論文リスト

DC-Leap: Training-Free Acceleration of dLLMs via Draft-Guided Contiguous Leaping Decoding [52.13809682603516]
DC-Leapは、中程度信頼体制におけるdLLMの信頼性の高いアクセラレーションを可能にする、トレーニング不要のフレームワークである。厳密に順序付けられた因果制約を並列復号プロセスに組み込む。 KVキャッシュと組み合わせると、MBPPでは最大53.19倍、最大105.02倍のスピードアップを実現している。
論文参考訳（メタデータ） (2026-05-19T06:27:58Z)
Beyond Test-Time Training: Learning to Reason via Hardware-Efficient Optimal Control [86.63490309209378]
我々は、最適制御として推論を定式化し、推論時に潜在状態に対して有限水平LQR計画を行うテスト時間制御層を導入する。アーキテクチャ層として最適制御を組み込むことは、テスト時間トレーニングを超えた推論のための効果的でスケーラブルなメカニズムを提供することを実証する。
論文参考訳（メタデータ） (2026-03-10T05:42:13Z)
EvolVE: Evolutionary Search for LLM-based Verilog Generation and Optimization [0.2796197251957245]
本稿では,チップ設計タスクにおける複数の進化戦略を解析する最初のフレームワークであるEvolVEを紹介する。また,全国集積回路コンテストから派生した産業規模の問題を対象とするIC-RTLを導入する。
論文参考訳（メタデータ） (2026-01-26T01:53:54Z)
Reinforcement Learning for Dynamic Workflow Optimization in CI/CD Pipelines [0.0]
本稿では,CI/CDパイプラインを動的に最適化するための強化学習(RL)アプローチを提案する。パイプラインはMarkov Decision Processとしてモデル化され、RLエージェントがフル、部分的、テスト実行なしなどのランタイム決定を行うようにトレーニングされている。実験の結果,RL最適化パイプラインはスループットが最大30%向上し,テスト実行時間が約25%削減された。
論文参考訳（メタデータ） (2026-01-15T05:19:46Z)
DiRL: An Efficient Post-Training Framework for Diffusion Language Models [54.405206032785706]
Diffusion Language Models (dLLMs) はAuto-Regressive(AR)モデルに代わる有望な代替品として登場した。既存の手法は、訓練と推論の間の計算の非効率性と客観的なミスマッチに悩まされている。我々は,FlexAttention-accelerated blockwise trainingとLMDeploy-timized inferenceを密接に統合した,効率的なポストトレーニングフレームワークであるDiRLを紹介した。
論文参考訳（メタデータ） (2025-12-23T08:33:19Z)
Lifecycle-Aware code generation: Leveraging Software Engineering Phases in LLMs [12.70863561286374]
トレーニング段階と推論段階の両方に中間アーティファクトを組み込んだライフサイクル対応フレームワークを導入する。実験によると、ライフサイクルレベルの微調整は、微調整の前に同じモデルで最大75%の精度でコードの正しさを向上させる。オープンソース LLM は、かつて私たちのフレームワークの下で微調整され、コードで事前訓練されたモデルにマッチするか、わずかに優れています。
論文参考訳（メタデータ） (2025-10-28T02:54:02Z)
Safe Load Balancing in Software-Defined-Networking [1.2521494095948067]
負荷分散のためのDeep Reinforcement Learning (DRL)アルゴリズム上に設計された制御バリア(CBF)。 DRL-CBFアプローチは,トレーニングおよびテスト中の安全性要件を満たすことができることを示す。
論文参考訳（メタデータ） (2024-10-22T09:34:22Z)
Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective [55.66517396157806]
オープンソースLLMのポストトレーニングにおいて広く採用されているアプローチは、SFTとRLHF/DPOのシーケンシャルな実行である。これはSFTとRLHF/DPOのトレードオフの点において最適である。本稿では,理論収束保証と逐次後学習フレームワークの性能を実証的に向上させる,実践的な後学習フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-20T19:38:41Z)
FastPersist: Accelerating Model Checkpointing in Deep Learning [21.308403847800573]
本稿では,Deep Learning(DL)トレーニングにおけるチェックポイント生成の高速化を目的としたFastPersistを提案する。 FastPersistは、(i)高速なチェックポイント書き込みと推論のための最適化、(ii)トレーニング環境で利用可能な効率的な書き込み並列化、(iii)独立したトレーニング計算と重複するチェックポイント処理の3つの新しいテクニックを組み合わせる。我々の評価では、FastPersistは、ベースラインよりも最大116倍高速な永続ストレージでチェックポイントを生成し、無視できるオーバーヘッドでイテレーション毎のチェックポイントを可能にする。
論文参考訳（メタデータ） (2024-06-19T18:31:23Z)
Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
論文参考訳（メタデータ） (2023-11-14T15:56:18Z)
Learning Performance-Improving Code Edits [107.21538852090208]
本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
論文参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。