論文の概要: Network Support for High-performance Distributed Machine Learning

• arxiv url: http://arxiv.org/abs/2102.03394v1
• Date: Fri, 5 Feb 2021 19:38:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:24:40.889372
• Title: Network Support for High-performance Distributed Machine Learning
• Title（参考訳）: 高性能分散機械学習のためのネットワークサポート
• Authors: Francesco Malandrino and Carla Fabiana Chiasserini and Nuria Molner and Antonio De La Oliva
• Abstract要約: 学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。 次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。 我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
• 参考スコア（独自算出の注目度）: 17.919773898228716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The traditional approach to distributed machine learning is to adapt learning algorithms to the network, e.g., reducing updates to curb overhead. Networks based on intelligent edge, instead, make it possible to follow the opposite approach, i.e., to define the logical network topology em around the learning task to perform, so as to meet the desired learning performance. In this paper, we propose a system model that captures such aspects in the context of supervised machine learning, accounting for both learning nodes (that perform computations) and information nodes (that provide data). We then formulate the problem of selecting (i) which learning and information nodes should cooperate to complete the learning task, and (ii) the number of iterations to perform, in order to minimize the learning cost while meeting the target prediction error and execution time. After proving important properties of the above problem, we devise an algorithm, named DoubleClimb, that can find a 1+1/|I|-competitive solution (with I being the set of information nodes), with cubic worst-case complexity. Our performance evaluation, leveraging a real-world network topology and considering both classification and regression tasks, also shows that DoubleClimb closely matches the optimum, outperforming state-of-the-art alternatives.
• Abstract（参考訳）: 分散機械学習に対する従来のアプローチは、学習アルゴリズムをネットワークに適応させることである。 インテリジェントエッジに基づくネットワークは、その代わりに、目的の学習パフォーマンスを満たすために、実行すべき学習タスクの周りに論理的なネットワークトポロジを定義するために、反対のアプローチに従うことを可能にします。 本稿では,学習ノード(計算を行う)と情報ノード(データを提供する)の両方を考慮し,教師付き機械学習の文脈でそのような側面を捉えるシステムモデルを提案する。 次に,学習ノードと情報ノードが協調して学習タスクを完了するべき問題,および (ii) 目標予測エラーや実行時間を満たしながら学習コストを最小限に抑えるために実行すべきイテレーション数を選択する問題を定式化する。 上記の問題の重要な性質を証明した後、DoubleClimbというアルゴリズムを考案し、1+1/|I|競合解(Iは情報ノードの集合である)を見つけることができる。 実世界のネットワークトポロジを活用し,分類タスクと回帰タスクの両方を考慮した性能評価の結果,DoubleClimbは最先端の最適化手法と密接に一致していることがわかった。

関連論文リスト

• Unlearning Graph Classifiers with Limited Data Resources [39.29148804411811]
  制御されたデータ削除は、データに敏感なWebアプリケーションのための機械学習モデルの重要機能になりつつある。 グラフニューラルネットワーク(GNN)の効率的な機械学習を実現する方法はまだほとんど知られていない。 我々の主な貢献は GST に基づく非線形近似グラフアンラーニング法である。 第2の貢献は、提案した未学習機構の計算複雑性の理論解析である。 第3のコントリビューションは広範囲なシミュレーションの結果であり、削除要求毎のGNNの完全再トレーニングと比較して、新しいGSTベースのアプローチは平均10.38倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2022-11-06T20:46:50Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
  ディープニューラルネットワークが従来の機械学習より優れていることが示されている。 ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
  論文  参考訳（メタデータ） (2022-06-27T15:46:05Z)
• A Differentiable Approach to Combinatorial Optimization using Dataless Neural Networks [20.170140039052455]
  我々は、ソリューションを生成するニューラルネットワークのトレーニングにデータを必要としないという、根本的に異なるアプローチを提案する。 特に、最適化問題をニューラルネットワークに還元し、データレストレーニングスキームを用いて、それらのパラメータが関心の構造をもたらすように、ネットワークのパラメータを洗練する。
  論文  参考訳（メタデータ） (2022-03-15T19:21:31Z)
• Temporal Graph Network Embedding with Causal Anonymous Walks Representations [54.05212871508062]
  本稿では,時間グラフネットワークに基づく動的ネットワーク表現学習のための新しいアプローチを提案する。 評価のために、時間的ネットワーク埋め込みの評価のためのベンチマークパイプラインを提供する。 欧州の大手銀行が提供した実世界のダウンストリームグラフ機械学習タスクにおいて、我々のモデルの適用性と優れた性能を示す。
  論文  参考訳（メタデータ） (2021-08-19T15:39:52Z)
• BCFNet: A Balanced Collaborative Filtering Network with Attention Mechanism [106.43103176833371]
  協調フィルタリング(CF)ベースの推奨方法が広く研究されている。 BCFNet(Balanced Collaborative Filtering Network)という新しい推薦モデルを提案する。 さらに注意機構は、暗黙のフィードバックの中で隠れた情報をよりよく捉え、ニューラルネットワークの学習能力を強化するように設計されている。
  論文  参考訳（メタデータ） (2021-03-10T14:59:23Z)
• Learning Centric Wireless Resource Allocation for Edge Computing: Algorithm and Experiment [15.577056429740951]
  Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。 既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。 本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
  論文  参考訳（メタデータ） (2020-10-29T06:20:40Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)
• Neuroevolution of Neural Network Architectures Using CoDeepNEAT and Keras [0.0]
  機械学習プロジェクトに関わる作業の大部分は、与えられた問題を解決するのに最適なタイプのアルゴリズムを定義することである。 与えられた問題に対する最適なネットワークトポロジと設定を見つけることは、ドメインの知識とテストの努力を必要とする課題です。
  論文  参考訳（メタデータ） (2020-02-11T19:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。