論文の概要: Locally Random P-adic Alloy Codes with Channel Coding Theorems for
Distributed Coded Tensors
- arxiv url: http://arxiv.org/abs/2202.03469v2
- Date: Wed, 9 Feb 2022 02:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 12:41:23.267450
- Title: Locally Random P-adic Alloy Codes with Channel Coding Theorems for
Distributed Coded Tensors
- Title(参考訳): チャネル符号化理論を用いた分散テンソル用局所ランダムP族合金符号
- Authors: Pedro Soto, Haibin Guan, Jun Li
- Abstract要約: 我々は、典型的な回復しきい値と呼ばれる分析のための新しい指標を導入する。
我々の一般的なフレームワークは、特別なケースとして、他の多くの計算スキームやメトリクスを包含していることを示す。
我々は、Amazon EC2で実施された実験を分析し、実際に行われている他の多くのベンチマーク計算方式よりも高速で数値的に安定であることを示す。
- 参考スコア(独自算出の注目度): 6.805535383845885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensors, i.e., multi-linear functions, are a fundamental building block of
machine learning algorithms. In order to train on large data-sets, it is common
practice to distribute the computation amongst workers. However, stragglers and
other faults can severely impact the performance and overall training time. A
novel strategy to mitigate these failures is the use of coded computation. We
introduce a new metric for analysis called the typical recovery threshold,
which focuses on the most likely event and provide a novel construction of
distributed coded tensor operations which are optimal with this measure. We
show that our general framework encompasses many other computational schemes
and metrics as a special case. In particular, we prove that the recovery
threshold and the tensor rank can be recovered as a special case of the typical
recovery threshold when the probability of noise, i.e., a fault, is equal to
zero, thereby providing a noisy generalization of noiseless computation as a
serendipitous result. Far from being a purely theoretical construction, these
definitions lead us to practical random code constructions, i.e., locally
random p-adic alloy codes, which are optimal with respect to the measures. We
analyze experiments conducted on Amazon EC2 and establish that they are faster
and more numerically stable than many other benchmark computation schemes in
practice, as is predicted by theory.
- Abstract(参考訳): テンソル、すなわちマルチリニア関数は、機械学習アルゴリズムの基本的な構築ブロックである。
大規模データセットのトレーニングには,作業者間で計算を分散することが一般的である。
しかし、ストラグラーやその他の障害は、パフォーマンスやトレーニング時間全体に重大な影響を与える可能性がある。
これらの障害を軽減するための新しい戦略は、コード化された計算を使うことである。
我々は,最も可能性の高い事象に注目し,この尺度に最適な分散符号化テンソル演算を新たに構築した,典型的な回復しきい値と呼ばれる新しい分析指標を導入する。
我々は,我々の汎用フレームワークが,他の多くの計算スキームやメトリクスを特別に包含していることを示す。
特に,ノイズの確率が0である場合,典型的な回復しきい値の特別な場合に,回復しきい値とテンソルランクを回復可能であることを証明し,ノイズのない計算をセレンディピタイトな結果としてノイズを一般化する。
純粋に理論的な構成とは程遠いが、これらの定義は実践的なランダムなコード構成、すなわち局所的なランダムなp進合金符号へと導かれる。
amazon ec2で実施した実験を分析し、理論によって予測されるように、実際の多くのベンチマーク計算方式よりも高速で数値的に安定であることを示す。
関連論文リスト
- Multitask Kernel-based Learning with Logic Constraints [13.70920563542248]
本稿では,タスク関数の集合間の論理制約をカーネルマシンに組み込む枠組みを提案する。
特徴空間上の複数の一意述語をカーネルマシンで学習するマルチタスク学習方式を検討する。
一般的なアプローチでは、論理節を連続的な実装に変換し、カーネルベースの述語によって計算された出力を処理する。
論文 参考訳(メタデータ) (2024-02-16T12:11:34Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-01T18:02:04Z) - Adaptive Experimentation at Scale: A Computational Framework for
Flexible Batches [7.390918770007728]
結果がバッチで測定される少数の実測を含む実例によって動機付けられ,適応駆動型実験フレームワークを開発した。
我々の主な観察は、統計的推論において普遍的な正規近似は適応アルゴリズムの設計を導くことができることである。
論文 参考訳(メタデータ) (2023-03-21T04:17:03Z) - Convolutional Sparse Coding Fast Approximation with Application to
Seismic Reflectivity Estimation [9.005280130480308]
2~5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。
提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
論文 参考訳(メタデータ) (2021-06-29T12:19:07Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning [36.015585972493575]
本稿では,一般値関数近似を用いたバッチ強化学習(RL)について考察する。
Empirical Risk Minimizer (ERM) の過剰リスクは、関数クラスの Rademacher 複雑性によって有界である。
高速統計率は局所ラデマッハ複雑性のツールを使用することで達成できる。
論文 参考訳(メタデータ) (2021-03-25T14:45:29Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - Unifying supervised learning and VAEs -- coverage, systematics and
goodness-of-fit in normalizing-flow based neural network models for
astro-particle reconstructions [0.0]
統計的不確実性、包括性、体系的不確実性、あるいは適度な尺度はしばしば計算されない。
データとラベルの共分散のKL分割の目的は、教師付き学習と変分オートエンコーダの統合を可能にすることを示す。
本稿では,特定の「基本順序」輪郭の数値積分を伴わずにカバレッジ確率を計算する方法について論じる。
論文 参考訳(メタデータ) (2020-08-13T11:28:57Z) - Predictive Coding Approximates Backprop along Arbitrary Computation
Graphs [68.8204255655161]
我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。
私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。
本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
論文 参考訳(メタデータ) (2020-06-07T15:35:47Z) - Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
コード計算は、分散学習の高速化に使用することができる。
勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。
重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
論文 参考訳(メタデータ) (2020-06-02T17:51:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。