論文の概要: Coded Computing for Resilient Distributed Computing: A Learning-Theoretic Framework

• arxiv url: http://arxiv.org/abs/2406.00300v2
• Date: Fri, 08 Nov 2024 20:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:03:12.660262
• Title: Coded Computing for Resilient Distributed Computing: A Learning-Theoretic Framework
• Title（参考訳）: レジリエントな分散コンピューティングのためのコードコンピューティング:学習理論フレームワーク
• Authors: Parsa Moradi, Behrooz Tahmasebi, Mohammad Ali Maddah-Ali,
• Abstract要約: 本稿では,学習理論の原理を統合し,機械学習アプリケーションにシームレスに適応するフレームワークを開発することを目的とした,符号化コンピューティングのための新しい基盤を提案する。 提案手法では, 推定誤差の平均は$mathcalO(S3 N-3)$と$mathcalO(Sfrac85Nfrac-35)$の2乗誤差で, ノイズのない, ノイズの多い計算条件で減衰することを示した。
• 参考スコア（独自算出の注目度）: 15.703073293718953
• License:
• Abstract: Coded computing has emerged as a promising framework for tackling significant challenges in large-scale distributed computing, including the presence of slow, faulty, or compromised servers. In this approach, each worker node processes a combination of the data, rather than the raw data itself. The final result then is decoded from the collective outputs of the worker nodes. However, there is a significant gap between current coded computing approaches and the broader landscape of general distributed computing, particularly when it comes to machine learning workloads. To bridge this gap, we propose a novel foundation for coded computing, integrating the principles of learning theory, and developing a framework that seamlessly adapts with machine learning applications. In this framework, the objective is to find the encoder and decoder functions that minimize the loss function, defined as the mean squared error between the estimated and true values. Facilitating the search for the optimum decoding and functions, we show that the loss function can be upper-bounded by the summation of two terms: the generalization error of the decoding function and the training error of the encoding function. Focusing on the second-order Sobolev space, we then derive the optimal encoder and decoder. We show that in the proposed solution, the mean squared error of the estimation decays with the rate of $\mathcal{O}(S^3 N^{-3})$ and $\mathcal{O}(S^{\frac{8}{5}}N^{\frac{-3}{5}})$ in noiseless and noisy computation settings, respectively, where $N$ is the number of worker nodes with at most $S$ slow servers (stragglers). Finally, we evaluate the proposed scheme on inference tasks for various machine learning models and demonstrate that the proposed framework outperforms the state-of-the-art in terms of accuracy and rate of convergence.
• Abstract（参考訳）: コードコンピューティングは、遅い、欠陥のある、あるいは妥協されたサーバーの存在を含む、大規模分散コンピューティングにおける重要な課題に取り組むための、有望なフレームワークとして登場した。 このアプローチでは、各ワーカノードは生のデータ自体ではなく、データの組み合わせを処理する。 最終的な結果は、ワーカノードの集合出力からデコードされる。 しかしながら、現在のコード化されたコンピューティングアプローチと、一般的な分散コンピューティングのより広い視野、特に機械学習のワークロードでは、大きなギャップがあります。 このギャップを埋めるために、我々は、符号化コンピューティングのための新しい基盤を提案し、学習理論の原理を統合するとともに、機械学習アプリケーションにシームレスに適応するフレームワークを開発する。 このフレームワークでは、推定値と真値の間の平均2乗誤差として定義される損失関数を最小限に抑えるエンコーダとデコーダ関数を見つけることが目的である。 最適復号と関数の探索を行い、復号関数の一般化誤差と符号化関数の訓練誤差という2つの項の和によって損失関数が上界化可能であることを示す。 2階ソボレフ空間に着目して最適エンコーダとデコーダを導出する。 提案手法では,推定誤差の平均2乗誤差を$\mathcal{O}(S^3 N^{-3})$と$\mathcal{O}(S^{\frac{8}{5}}N^{\frac{-3}{5}})$で表す。 最後に,様々な機械学習モデルの推論タスクに関する提案手法を評価し,提案手法が精度と収束率において最先端の手法より優れていることを示す。

関連論文リスト

• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• The END: An Equivariant Neural Decoder for Quantum Error Correction [73.4384623973809]
  データ効率のよいニューラルデコーダを導入し、この問題の対称性を活用する。 本稿では,従来のニューラルデコーダに比べて精度の高い新しい同変アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-14T19:46:39Z)
• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Discrete Key-Value Bottleneck [95.61236311369821]
  ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。 この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。 しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。 この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
  論文  参考訳（メタデータ） (2022-07-22T17:52:30Z)
• Should All Proposals be Treated Equally in Object Detection? [110.27485090952385]
  オブジェクト検出器の複雑さと精度のトレードオフは、リソース制約されたビジョンタスクにとって重要な問題である。 検出効率の改善には、提案の不平等な処理に向けて、パラダイムシフトが必要であると仮定されている。 これにより、利用可能な計算予算がより有効になり、同じFLOPSの精度が向上する。
  論文  参考訳（メタデータ） (2022-07-07T18:26:32Z)
• Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent [6.055286666916789]
  本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
  論文  参考訳（メタデータ） (2022-01-31T04:08:53Z)
• Network Support for High-performance Distributed Machine Learning [17.919773898228716]
  学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。 次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。 我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
  論文  参考訳（メタデータ） (2021-02-05T19:38:57Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning [17.454251607446555]
  サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-05-14T17:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。