論文の概要: Distributed Learning Systems with First-order Methods

• arxiv url: http://arxiv.org/abs/2104.05245v1
• Date: Mon, 12 Apr 2021 07:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 13:44:35.927816
• Title: Distributed Learning Systems with First-order Methods
• Title（参考訳）: 1次手法による分散学習システム
• Authors: Ji Liu, Ce Zhang
• Abstract要約: このトピックは、分散学習システムと理論の急速な発展に焦点を当てている。 本稿では,最近開発された分散学習手法について紹介する。 この研究では、両コミュニティの研究者が容易に理解できるようにすることに焦点を当てています。
• 参考スコア（独自算出の注目度）: 37.58722482618481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scalable and efficient distributed learning is one of the main driving forces behind the recent rapid advancement of machine learning and artificial intelligence. One prominent feature of this topic is that recent progresses have been made by researchers in two communities: (1) the system community such as database, data management, and distributed systems, and (2) the machine learning and mathematical optimization community. The interaction and knowledge sharing between these two communities has led to the rapid development of new distributed learning systems and theory. In this work, we hope to provide a brief introduction of some distributed learning techniques that have recently been developed, namely lossy communication compression (e.g., quantization and sparsification), asynchronous communication, and decentralized communication. One special focus in this work is on making sure that it can be easily understood by researchers in both communities -- On the system side, we rely on a simplified system model hiding many system details that are not necessary for the intuition behind the system speedups; while, on the theory side, we rely on minimal assumptions and significantly simplify the proof of some recent work to achieve comparable results.
• Abstract（参考訳）: スケーラブルで効率的な分散学習は、最近の機械学習と人工知能の急速な進歩の背後にある大きな原動力の1つだ。 このトピックの顕著な特徴の1つは、(1)データベース、データ管理、分散システムのようなシステムコミュニティ、(2)機械学習と数学の最適化コミュニティという2つのコミュニティの研究者によって最近の進歩がなされていることである。 これら2つのコミュニティ間の相互作用と知識共有は、新しい分散学習システムと理論の急速な発展につながった。 本稿では,最近開発された分散学習技術,すなわち分散通信圧縮(量子化とスパーシフィケーション),非同期通信,分散通信の簡単な紹介を期待する。 システム側では、システムスピードアップの背後にある直感では不要な多くのシステム詳細を隠蔽する、単純化されたシステムモデルに依存しています。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Fast and Slow Generating: An Empirical Study on Large and Small Language Models Collaborative Decoding [27.004817441034795]
  大規模言語モデルと小言語モデル(SLM)の協調的復号化は,これらの問題を緩和するための有望な戦略を示す。 両プロセス認知理論に着想を得て,FS-GEN(Fast and Slow Generating)と呼ばれる統合フレームワークを提案する。 このフレームワーク内では、LSMはSystem 2(slow and intention)に、独立したSLMはSystem 1に分類される。
  論文  参考訳（メタデータ） (2024-06-18T05:59:28Z)
• Private Knowledge Sharing in Distributed Learning: A Survey [50.51431815732716]
  人工知能の台頭は多くの産業に革命をもたらし、社会の働き方を変えた。 異なるエンティティが分散または所有する学習プロセスにおいて、情報を活用することが不可欠である。 現代のデータ駆動サービスは、分散知識エンティティを結果に統合するために開発されています。
  論文  参考訳（メタデータ） (2024-02-08T07:18:23Z)
• Unsupervised Learning in Complex Systems [0.0]
  この論文は、自然および人工システムにおける学習と適応を研究するための複雑なシステムの使用を探求する。 目標は、監督なしで学習し、自分自身で開発し、時間が経つにつれてますます複雑化する自律システムを開発することである。
  論文  参考訳（メタデータ） (2023-07-11T19:48:42Z)
• Launchpad: A Programming Model for Distributed Machine Learning Research [12.618286123360233]
  分散システムの定義と起動のプロセスを簡単にするプログラミングモデルであるLaunchpadを紹介します。 提案するフレームワーク,設計哲学,実装について述べるとともに,このアプローチによって設計が大幅に単純化された共通学習アルゴリズムの例を多数紹介する。
  論文  参考訳（メタデータ） (2021-06-07T17:02:10Z)
• Linear Regression over Networks with Communication Guarantees [1.4271989597349055]
  接続された自律システムでは、しばしば限られたリソースを持つ通信ネットワーク上でデータ転送が行われる。 本稿では,線形回帰タスクのためのコミュニケーション効率の高い学習のためのアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2021-03-06T15:28:21Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)
• Distributed and Democratized Learning: Philosophy and Research Challenges [80.39805582015133]
  民主化学習(Dem-AI)という新しいデザイン哲学を提案する。 ヒトの社会的グループに触発され、提案されたDem-AIシステムの学習エージェントの専門グループは階層構造で自己組織化され、より効率的に学習タスクを遂行する。 本稿では,様々な学際分野に触発された未来のDem-AIシステムを実現するためのガイドラインとして,参照設計を提案する。
  論文  参考訳（メタデータ） (2020-03-18T08:45:10Z)
• Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond [73.03743482037378]
  分散学習は、多くの人々が想定する、大規模に接続された世界の重要な方向となっている。 本稿では、スケーラブルな分散処理とリアルタイムデータ計算の4つの重要な要素について論じる。 実践的な問題や今後の研究についても論じる。
  論文  参考訳（メタデータ） (2020-01-14T14:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。