論文の概要: Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing

• arxiv url: http://arxiv.org/abs/2009.08327v3
• Date: Mon, 1 Nov 2021 08:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 12:25:32.691922
• Title: Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing
• Title（参考訳）: Berrut Approximated Coded Computing: 多項式コンピューティング以外のストラグラー耐性
• Authors: Tayyebeh Jahani-Nezhad, Mohammad Ali Maddah-Ali
• Abstract要約: 本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
• 参考スコア（独自算出の注目度）: 34.69732430310801
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the major challenges in using distributed learning to train complicated models with large data sets is to deal with stragglers effect. As a solution, coded computation has been recently proposed to efficiently add redundancy to the computation tasks. In this technique, coding is used across data sets, and computation is done over coded data, such that the results of an arbitrary subset of worker nodes with a certain size are enough to recover the final results. The major challenges with those approaches are (1) they are limited to polynomial function computations, (2) the size of the subset of servers that we need to wait for grows with the multiplication of the size of the data set and the model complexity (the degree of the polynomial), which can be prohibitively large, (3) they are not numerically stable for computation over real numbers. In this paper, we propose Berrut Approximated Coded Computing (BACC), as an alternative approach, which is not limited to polynomial function computation. In addition, the master node can approximately calculate the final results, using the outcomes of any arbitrary subset of available worker nodes. The approximation approach is proven to be numerically stable with low computational complexity. In addition, the accuracy of the approximation is established theoretically and verified by simulation results in different settings such as distributed learning problems. In particular, BACC is used to train a deep neural network on a cluster of servers, which outperforms repetitive computation (repetition coding) in terms of the rate of convergence.
• Abstract（参考訳）: 大規模データセットで複雑なモデルをトレーニングするために分散学習を使用する際の大きな課題のひとつは、ストラグラー効果に対処することだ。 解法として,計算タスクに冗長性を効率的に付加するコード計算が最近提案されている。 この技術では、符号化はデータセットにまたがって使用され、一定の大きさのワーカーノードの任意のサブセットの結果が最終的な結果を取り戻すのに十分であるように、符号化されたデータ上で計算される。 これらのアプローチの主な課題は、(1)多項式関数の計算に限られていること、(2)データのサイズとモデル複雑性(多項式の次数)の乗算によって、待機するサーバのサブセットのサイズが大きくなること、(3)実数上での計算では数値的に安定ではないこと、である。 本稿では,多項式関数計算に限らない別の手法として,berrut近似符号化計算(bacc)を提案する。 さらに、マスターノードは、利用可能なワーカーノードの任意のサブセットの結果を用いて、最終的な結果を概ね計算することができる。 近似アプローチは計算量の低い数値的に安定であることが証明されている。 また,分散学習問題などの異なる環境でのシミュレーション結果を用いて,近似の精度を理論的に確立し検証した。 特に、baccはサーバーのクラスタ上でディープニューラルネットワークをトレーニングするために使われ、収束率の点で繰り返し計算(繰り返し符号化)を上回っています。

関連論文リスト

• Coded Computing for Resilient Distributed Computing: A Learning-Theoretic Framework [15.703073293718953]
  本稿では,学習理論の原理を統合し,機械学習アプリケーションにシームレスに適応するフレームワークを開発することを目的とした,符号化コンピューティングのための新しい基盤を提案する。 提案手法では, 推定誤差の平均は$mathcalO(S3 N-3)$と$mathcalO(Sfrac85Nfrac-35)$の2乗誤差で, ノイズのない, ノイズの多い計算条件で減衰することを示した。
  論文  参考訳（メタデータ） (2024-06-01T05:01:25Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• Imputation of missing values in multi-view data [0.24739484546803336]
  多視点学習のための既存の累積ペナル化ロジスティック回帰アルゴリズムに基づく新しい計算法を提案する。 シミュレーションデータセットと実データアプリケーションにおいて,新しい計算手法の性能と既存計算アルゴリズムとの比較を行った。
  論文  参考訳（メタデータ） (2022-10-26T05:19:30Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• RSC: Accelerating Graph Neural Networks Training via Randomized Sparse Computations [56.59168541623729]
  トレーニンググラフニューラルネットワーク(GNN)は、疎グラフベースの操作がハードウェアによって加速することが難しいため、時間を要する。 我々は,サンプリングに基づく近似による時間的複雑性を低減するために,計算精度のトレードオフを検討する。 本稿では,GNNを近似演算でトレーニングする可能性を初めて示すランダム化スパース計算を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:25:33Z)
• Quantum Sparse Coding [5.130440339897477]
  我々はスパース符号化のための量子インスピレーション付きアルゴリズムを開発した。 量子コンピュータとイジングマシンの出現は、より正確な推定につながる可能性がある。 我々はLightrの量子インスパイアされたデジタルプラットフォーム上でシミュレーションデータを用いて数値実験を行う。
  論文  参考訳（メタデータ） (2022-09-08T13:00:30Z)
• Low-complexity Approximate Convolutional Neural Networks [1.7368964547487395]
  本稿では,学習された畳み込みニューラルネットワーク(ConvNet)の計算複雑性を最小化する手法を提案する。 この考え方は、与えられたConvNetのすべての要素を計算複雑性を極端に削減できる効率的な近似で近似することである。 このような低複雑さ構造は、低消費電力で効率的なハードウェア設計の道を開く。
  論文  参考訳（メタデータ） (2022-07-29T21:59:29Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。