論文の概要: Traversal Learning Coordination For Lossless And Efficient Distributed Learning

• arxiv url: http://arxiv.org/abs/2504.07471v1
• Date: Thu, 10 Apr 2025 05:48:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:24:25.555391
• Title: Traversal Learning Coordination For Lossless And Efficient Distributed Learning
• Title（参考訳）: ロスレスで効率的な分散学習のためのトラバースラーニングコーディネート
• Authors: Erdenebileg Batbaatar, Jeonggeol Kim, Yongcheol Kim, Young Yoon,
• Abstract要約: トラバースラーニング(TL)は、人気のある分散学習(DL)パラダイムで発生する品質低下の問題に対処するために設計された新しいアプローチである。 TLは、モデルがフォワード伝搬(FP)中にノードを横切るユニークな戦略を採用し、オーケストレータ上で後方伝搬(BP)を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we introduce Traversal Learning (TL), a novel approach designed to address the problem of decreased quality encountered in popular distributed learning (DL) paradigms such as Federated Learning (FL), Split Learning (SL), and SplitFed Learning (SFL). Traditional FL experiences from an accuracy drop during aggregation due to its averaging function, while SL and SFL face increased loss due to the independent gradient updates on each split network. TL adopts a unique strategy where the model traverses the nodes during forward propagation (FP) and performs backward propagation (BP) on the orchestrator, effectively implementing centralized learning (CL) principles within a distributed environment. The orchestrator is tasked with generating virtual batches and planning the sequential node visits of the model during FP, aligning them with the ordered index of the data within these batches. We conducted experiments on six datasets representing diverse characteristics across various domains. Our evaluation demonstrates that TL is on par with classic CL approaches in terms of accurate inference, thereby offering a viable and robust solution for DL tasks. TL outperformed other DL methods and improved accuracy by 7.85% for independent and identically distributed (IID) datasets, macro F1-score by 1.06% for non-IID datasets, accuracy by 2.60% for text classification, and AUC by 3.88% and 4.54% for medical and financial datasets, respectively. By effectively preserving data privacy while maintaining performance, TL represents a significant advancement in DL methodologies.
• Abstract（参考訳）: 本稿では,Federated Learning (FL), Split Learning (SL), SplitFed Learning (SFL) など,一般的な分散学習(DL)パラダイムで発生する品質低下の問題に対処する新しいアプローチであるトラバースラーニング(TL)を紹介する。 従来のFLは, 平均化関数によるアグリゲーションの精度低下によるものであり, SLとSFLは分割ネットワーク毎の独立勾配更新により損失が増大する傾向にあった。 TLは、モデルがフォワード伝搬(FP)中にノードを横断し、オーケストレータ上で後方伝搬(BP)を行うユニークな戦略を採用し、分散環境における集中学習(CL)の原則を効果的に実装する。 オーケストレータは、仮想バッチを生成し、FP中にモデルのシーケンシャルノード訪問を計画し、これらのバッチ内のデータの順序付きインデックスと整合させる。 様々な領域にまたがる特徴を表す6つのデータセットについて実験を行った。 評価の結果,TL は従来の CL 手法と同等の精度の推論が可能であり,DL タスクに対して実現可能かつ堅牢なソリューションが提供されることがわかった。 TLは他のDL法よりも優れており、独立および同一分散(IID)データセットは7.85%、マクロF1スコアは1.06%、テキスト分類は2.60%、AUCは3.88%、ファイナンシャルデータセットは4.54%である。 性能を維持しながらデータのプライバシを効果的に保持することにより、TLはDL方法論の大幅な進歩を示す。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering [0.0]
  本稿では,Tsetlin-Personalized Federated Learningと呼ばれる新しい手法を提案する。 このように、モデルは特定のクラスに対する信頼性に基づいてクラスタにグループ化される。 クライアントは信頼しているものだけを共有し、結果として誤った重み付けが排除される。 その結果、TPFLはMNISTで98.94%、FashionMNISTで98.52%、FEMNISTデータセットで91.16%の精度でベースライン法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-09-16T15:27:35Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Non-Federated Multi-Task Split Learning for Heterogeneous Sources [17.47679789733922]
  異種データソースのマルチタスク学習を効率的に行うための新しいアーキテクチャと方法論を提案する。 MTSLは,サーバとクライアントの学習率を調整することで,高速収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-05-31T19:27:03Z)
• Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
  マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。 MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。 様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2024-05-10T11:52:53Z)
• Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics [20.781607752797445]
  特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。 最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。 第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
  論文  参考訳（メタデータ） (2024-03-13T09:24:59Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。