論文の概要: Distributed Learning and Inference Systems: A Networking Perspective
- arxiv url: http://arxiv.org/abs/2501.05323v1
- Date: Thu, 09 Jan 2025 15:48:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-10 13:58:09.523139
- Title: Distributed Learning and Inference Systems: A Networking Perspective
- Title(参考訳): 分散学習と推論システム:ネットワークの展望
- Authors: Hesham G. Moussa, Arashmid Akhavain, S. Maryam Hosseini, Bill McCormick,
- Abstract要約: 本研究は,DA-ITN(Data and Dynamics-Aware Inference and Training Networks)の新たなフレームワークを提案する。
DA-ITNの異なるコンポーネントとそれらの機能について検討し、関連する課題と研究領域を強調した。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Machine learning models have achieved, and in some cases surpassed, human-level performance in various tasks, mainly through centralized training of static models and the use of large models stored in centralized clouds for inference. However, this centralized approach has several drawbacks, including privacy concerns, high storage demands, a single point of failure, and significant computing requirements. These challenges have driven interest in developing alternative decentralized and distributed methods for AI training and inference. Distribution introduces additional complexity, as it requires managing multiple moving parts. To address these complexities and fill a gap in the development of distributed AI systems, this work proposes a novel framework, Data and Dynamics-Aware Inference and Training Networks (DA-ITN). The different components of DA-ITN and their functions are explored, and the associated challenges and research areas are highlighted.
- Abstract(参考訳): 機械学習モデルは達成され、場合によっては、静的モデルの集中的なトレーニングや、推論のために集中的なクラウドに格納された大きなモデルの使用を通じて、さまざまなタスクにおける人間レベルのパフォーマンスを達成している。
しかしながら、この集中型アプローチには、プライバシの懸念、高いストレージ要求、単一障害点、重要なコンピューティング要件など、いくつかの欠点がある。
これらの課題は、AIトレーニングと推論のための、分散化された分散メソッドの開発に関心を惹き付けている。
分散は、複数の可動部品を管理する必要があるため、さらなる複雑さをもたらす。
これらの複雑さに対処し、分散AIシステムの開発におけるギャップを埋めるために、この研究は、Data and Dynamics-Aware Inference and Training Networks (DA-ITN)という新しいフレームワークを提案する。
DA-ITNの異なるコンポーネントとその機能について検討し、関連する課題と研究領域を強調した。
関連論文リスト
- Model Agnostic Hybrid Sharding For Heterogeneous Distributed Inference [11.39873199479642]
Nesaは、分散AI推論用に設計されたモデルに依存しないシャーディングフレームワークを導入した。
私たちのフレームワークでは、ブロックチェーンベースのディープニューラルネットワークシャーディングを使用して、さまざまなノードネットワークに計算タスクを分散しています。
われわれの結果は、最先端のAI技術へのアクセスを民主化する可能性を強調している。
論文 参考訳(メタデータ) (2024-07-29T08:18:48Z) - A Survey of Distributed Learning in Cloud, Mobile, and Edge Settings [1.0589208420411014]
この調査では、クラウドとエッジ設定を含む分散学習の状況について調査する。
データとモデルの並列性という中核的な概念を掘り下げて、モデルをさまざまな次元と層に分割して、リソースの利用とパフォーマンスを最適化する方法を調べます。
計算効率,通信オーバヘッド,メモリ制約のトレードオフを浮き彫りにして,完全接続層,畳み込み層,繰り返し層など,さまざまなレイヤタイプに対するパーティショニング方式を解析する。
論文 参考訳(メタデータ) (2024-05-23T22:00:38Z) - A review on different techniques used to combat the non-IID and
heterogeneous nature of data in FL [0.0]
Federated Learning(FL)は、複数のエッジデバイス間で協調的なモデルトレーニングを可能にする機械学習アプローチである。
FLの重要性は、医療や金融などの業界で特に顕著であり、データのプライバシが最重要視されている。
この報告は、非IIDおよび異種データから生じる問題を掘り下げ、これらの課題に対処するために設計された現在のアルゴリズムを探求する。
論文 参考訳(メタデータ) (2024-01-01T16:34:00Z) - Decentralized Learning Made Easy with DecentralizePy [3.1848820580333737]
分散学習(DL)は、スケーラビリティ、プライバシ、フォールトトレランスの面でその潜在的な利点で有名になった。
本稿では,大規模学習ネットワークを任意のトポロジでエミュレート可能な分散機械学習フレームワークDecentralizePyを提案する。
いくつかのトポロジ上にスパーシフィケーションやセキュアアグリゲーションといったテクニックを配置することで、分散Pyの能力を実証する。
論文 参考訳(メタデータ) (2023-04-17T14:42:33Z) - Multi-Resource Allocation for On-Device Distributed Federated Learning
Systems [79.02994855744848]
本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。
システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
論文 参考訳(メタデータ) (2022-11-01T14:16:05Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2021-02-09T11:27:14Z) - Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。
生徒は、合成された入力データを通じて教師の出力を訓練する。
その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
論文 参考訳(メタデータ) (2021-02-01T14:38:54Z) - Distributed Training of Deep Learning Models: A Taxonomic Perspective [11.924058430461216]
分散ディープラーニングシステム(DDLS)は、クラスタの分散リソースを利用することで、ディープニューラルネットワークモデルをトレーニングする。
私たちは、独立したマシンのクラスタでディープニューラルネットワークをトレーニングする際の、作業の基本原則に光を当てることを目指しています。
論文 参考訳(メタデータ) (2020-07-08T08:56:58Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳(メタデータ) (2020-07-07T08:34:48Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。