論文の概要: Locally Random P-adic Alloy Codes with Channel Coding Theorems for
Distributed Coded Tensors
- arxiv url: http://arxiv.org/abs/2202.03469v2
- Date: Wed, 9 Feb 2022 02:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-10 12:41:23.267450
- Title: Locally Random P-adic Alloy Codes with Channel Coding Theorems for
Distributed Coded Tensors
- Title(参考訳): チャネル符号化理論を用いた分散テンソル用局所ランダムP族合金符号
- Authors: Pedro Soto, Haibin Guan, Jun Li
- Abstract要約: 我々は、典型的な回復しきい値と呼ばれる分析のための新しい指標を導入する。
我々の一般的なフレームワークは、特別なケースとして、他の多くの計算スキームやメトリクスを包含していることを示す。
我々は、Amazon EC2で実施された実験を分析し、実際に行われている他の多くのベンチマーク計算方式よりも高速で数値的に安定であることを示す。
- 参考スコア(独自算出の注目度): 6.805535383845885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensors, i.e., multi-linear functions, are a fundamental building block of
machine learning algorithms. In order to train on large data-sets, it is common
practice to distribute the computation amongst workers. However, stragglers and
other faults can severely impact the performance and overall training time. A
novel strategy to mitigate these failures is the use of coded computation. We
introduce a new metric for analysis called the typical recovery threshold,
which focuses on the most likely event and provide a novel construction of
distributed coded tensor operations which are optimal with this measure. We
show that our general framework encompasses many other computational schemes
and metrics as a special case. In particular, we prove that the recovery
threshold and the tensor rank can be recovered as a special case of the typical
recovery threshold when the probability of noise, i.e., a fault, is equal to
zero, thereby providing a noisy generalization of noiseless computation as a
serendipitous result. Far from being a purely theoretical construction, these
definitions lead us to practical random code constructions, i.e., locally
random p-adic alloy codes, which are optimal with respect to the measures. We
analyze experiments conducted on Amazon EC2 and establish that they are faster
and more numerically stable than many other benchmark computation schemes in
practice, as is predicted by theory.
- Abstract(参考訳): テンソル、すなわちマルチリニア関数は、機械学習アルゴリズムの基本的な構築ブロックである。
大規模データセットのトレーニングには,作業者間で計算を分散することが一般的である。
しかし、ストラグラーやその他の障害は、パフォーマンスやトレーニング時間全体に重大な影響を与える可能性がある。
これらの障害を軽減するための新しい戦略は、コード化された計算を使うことである。
我々は,最も可能性の高い事象に注目し,この尺度に最適な分散符号化テンソル演算を新たに構築した,典型的な回復しきい値と呼ばれる新しい分析指標を導入する。
我々は,我々の汎用フレームワークが,他の多くの計算スキームやメトリクスを特別に包含していることを示す。
特に,ノイズの確率が0である場合,典型的な回復しきい値の特別な場合に,回復しきい値とテンソルランクを回復可能であることを証明し,ノイズのない計算をセレンディピタイトな結果としてノイズを一般化する。
純粋に理論的な構成とは程遠いが、これらの定義は実践的なランダムなコード構成、すなわち局所的なランダムなp進合金符号へと導かれる。
amazon ec2で実施した実験を分析し、理論によって予測されるように、実際の多くのベンチマーク計算方式よりも高速で数値的に安定であることを示す。
関連論文リスト
- OD-Stega: LLM-Based Near-Imperceptible Steganography via Optimized Distributions [7.611860976107124]
本研究では,Large Language Modelが算術符号デコーダを駆動してステゴテキストを生成する,隠蔽型ステガノグラフィについて考察する。
効率的な方法は、秘密のメッセージビットをできるだけ少数の言語トークンに埋め込む必要がある。
論文 参考訳(メタデータ) (2024-10-06T01:30:45Z) - Derandomizing Multi-Distribution Learning [28.514129340758938]
マルチディストリビューション学習では、複数のデータ分散でうまく動作する単一の予測子を学習する。
近年の研究では、オラクル効率のアルゴリズムにより、ほぼ最適サンプルの複雑さが達成されている。
これらのアルゴリズムは、複数の分布に対する決定論的予測子を生成するためにデランドマイズできるのだろうか?
論文 参考訳(メタデータ) (2024-09-26T06:28:56Z) - Learning Regularities from Data using Spiking Functions: A Theory [1.3735277588793995]
我々は,正則性の定義を数学で定義する新しい機械学習理論を提案する。
発見された非ランダム性は、関数が十分単純であれば正則性に符号化される。
この過程において、最適なスパイク関数である「ベスト」正則性は、最も多くの情報を取得することができるものであると主張する。
論文 参考訳(メタデータ) (2024-05-19T22:04:11Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-03-11T13:44:49Z) - Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。
本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。
本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
論文 参考訳(メタデータ) (2023-11-10T15:33:19Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-01T18:02:04Z) - qecGPT: decoding Quantum Error-correcting Codes with Generative
Pre-trained Transformers [5.392298820599664]
生成モデルを用いて量子誤り訂正符号を復号するフレームワークを提案する。
自動回帰ニューラルネットワーク、特にトランスフォーマーを用いて、論理演算子とシンドロームの結合確率を学習する。
我々のフレームワークは汎用的であり、様々なトポロジを持つ任意のエラーモデルや量子コードに適用できる。
論文 参考訳(メタデータ) (2023-07-18T07:34:02Z) - Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
敵対的レジリエントな分散最適化。
機械は独立して勾配を計算し 協力することができます
私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。
それは非常に実用的です:それはないときすべての前の方法の性能を改善します。
セッティングマシンがあります。
論文 参考訳(メタデータ) (2020-12-28T17:19:32Z) - Efficient semidefinite-programming-based inference for binary and
multi-class MRFs [83.09715052229782]
分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。
一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
論文 参考訳(メタデータ) (2020-12-04T15:36:29Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。
本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。
ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
論文 参考訳(メタデータ) (2020-06-16T01:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。