論文の概要: SCPL: Enhancing Neural Network Training Throughput with Decoupled Local Losses and Model Parallelism

• arxiv url: http://arxiv.org/abs/2602.00062v2
• Date: Tue, 03 Feb 2026 04:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 02:03:42.29731
• Title: SCPL: Enhancing Neural Network Training Throughput with Decoupled Local Losses and Model Parallelism
• Title（参考訳）: SCPL: 分離した局所損失とモデル並列性によるニューラルネットワークトレーニングのスループット向上
• Authors: Ming-Yao Ho, Cheng-Kai Wang, You-Teng Lin, Hung-Hsuan Chen,
• Abstract要約: 本稿では、BPを分離し、長い勾配流を複数の短絡に変換することでこの問題に対処する新しい学習手法である Supervised Contrastive Parallel Learning (SCPL) を提案する。 BP, Early Exit, GPipe, Associated Learning (AL)と比較して, バックプロパゲーションをデカップリングするための最先端手法である。 SCPLは、高度な情報システムをよりコスト効率よく、よりアジリティで開発し、展開するための実践的な経路を提供する。
• 参考スコア（独自算出の注目度）: 2.4349098308669594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adopting large-scale AI models in enterprise information systems is often hindered by high training costs and long development cycles, posing a significant managerial challenge. The standard end-to-end backpropagation (BP) algorithm is a primary driver of modern AI, but it is also the source of inefficiency in training deep networks. This paper introduces a new training methodology, Supervised Contrastive Parallel Learning (SCPL), that addresses this issue by decoupling BP and transforming a long gradient flow into multiple short ones. This design enables the simultaneous computation of parameter gradients in different layers, achieving superior model parallelism and enhancing training throughput. Detailed experiments are presented to demonstrate the efficiency and effectiveness of our model compared to BP, Early Exit, GPipe, and Associated Learning (AL), a state-of-the-art method for decoupling backpropagation. By mitigating a fundamental performance bottleneck, SCPL provides a practical pathway for organizations to develop and deploy advanced information systems more cost-effectively and with greater agility. The experimental code is released for reproducibility. https://github.com/minyaho/scpl/
• Abstract（参考訳）: エンタープライズ情報システムに大規模なAIモデルを採用することは、しばしば、高いトレーニングコストと長期開発サイクルによって妨げられ、重大な管理上の課題を生じさせる。 標準的なエンドツーエンドのバックプロパゲーション(BP)アルゴリズムは、現代のAIの主要なドライバであるが、ディープネットワークのトレーニングにおける非効率性の源でもある。 本稿では,BPを分離し,長い勾配流を複数の短絡に変換することでこの問題に対処する新しい学習手法である Supervised Contrastive Parallel Learning (SCPL) を提案する。 この設計により、異なる層におけるパラメータ勾配の同時計算が可能となり、優れたモデル並列性を実現し、トレーニングスループットを向上させることができる。 BP, Early Exit, GPipe, Associated Learning (AL)と比較して, バックプロパゲーションをデカップリングするための最先端手法である。 基本的なパフォーマンスボトルネックを軽減することで、SCPLは、よりコスト効率が高く、よりアジリティの高い先進的な情報システムを開発し、デプロイするための実践的なパスを提供します。 実験コードは再現性のためにリリースされている。 https://github.com/minyaho/scpl/

関連論文リスト

• PipelineRL: Faster On-policy Reinforcement Learning for Long Sequence Generation [47.510888611491]
  大規模言語モデル(LLM)の推論能力を高めるために強化学習(RL)がますます活用されている。 本稿では、ハードウェア効率と政治上のデータとの良好なトレードオフを実現するために設計されたPipelineRLを紹介する。
  論文  参考訳（メタデータ） (2025-09-23T15:15:21Z)
• GreenLightningAI: An Efficient AI System with Decoupled Structural and Quantitative Knowledge [0.0]
  強力な、人気のあるディープニューラルネットワークのトレーニングには、非常に高い経済的および環境的コストが伴う。 この作業は、GreenLightningAIを提案することによって、根本的に異なるアプローチを取る。 新しいAIシステムは、所定のサンプルに対してシステムサブセットを選択するために必要な情報を格納する。 我々は,AIシステムを新しいサンプルで再学習する際に,構造情報を無修正で保持できることを実験的に示す。
  論文  参考訳（メタデータ） (2023-12-15T17:34:11Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Consistency Training of Multi-exit Architectures for Sensor Data [0.07614628596146598]
  本稿では,一貫した出口訓練(Continuous exit training)と呼ばれるマルチエクイットアーキテクチャの堅牢なトレーニングのための,新規かつアーキテクチャに依存しないアプローチを提案する。 弱監督を利用して、モデルの出力を整合性トレーニングと整合させ、ネットワーク内の出口に対してマルチタスク学習方式で二重空間を協調的に最適化する。
  論文  参考訳（メタデータ） (2021-09-27T17:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。