論文の概要: Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors

• arxiv url: http://arxiv.org/abs/2202.03469v7
• Date: Mon, 28 Oct 2024 20:42:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:36:07.548661
• Title: Random Alloy Codes and the Fundamental Limits of Coded Distributed Tensors
• Title（参考訳）: ランダム合金符号と符号化分散テンソルの基本限界
• Authors: Pedro Soto,
• Abstract要約: ストラグラーや他の障害は、全体の完了時間に深刻な影響を与える可能性がある。 符号化コンピューティングにおける最近の研究は、コード化されたタスクでストラグラーを緩和するための新しい戦略を提供する。 この厳密な定義は、失敗の確率を直接最適化しないことを示す。
• 参考スコア（独自算出の注目度）: 1.8130068086063333
• License:
• Abstract: Tensors are a fundamental operation in distributed computing, \emph{e.g.,} machine learning, that are commonly distributed into multiple parallel tasks for large datasets. Stragglers and other failures can severely impact the overall completion time. Recent works in coded computing provide a novel strategy to mitigate stragglers with coded tasks, with an objective of minimizing the number of tasks needed to recover the overall result, known as the recovery threshold. However, we demonstrate that this strict combinatorial definition does not directly optimize the probability of failure. In this paper, we focus on the most likely event and measure the optimality of a coding scheme more directly by its probability of decoding. Our probabilistic approach leads us to a practical construction of random codes for matrix multiplication, i.e., locally random alloy codes, which are optimal with respect to the measures. Furthermore, the probabilistic approach allows us to discover a surprising impossibility theorem about both random and deterministic coded distributed tensors.
• Abstract（参考訳）: テンソルは分散コンピューティングにおける基本的な操作であり、大規模なデータセットのために複数の並列タスクに分散される機械学習である。 ストラグラーや他の障害は、全体の完了時間に深刻な影響を与える可能性がある。 コーデックコンピューティングにおける最近の研究は、トラグラーをコード化されたタスクで緩和する新しい戦略を提供し、リカバリしきい値として知られる全体的な結果の回復に必要なタスク数を最小化することを目的としている。 しかし、この厳密な組合せの定義は失敗の確率を直接最適化しないことを示した。 本稿では、最も可能性の高い事象に着目し、復号化確率によってより直接的に符号化方式の最適性を測定する。 我々の確率論的アプローチは、行列乗算のための乱符号、すなわち、その測度に関して最適である局所ランダム合金符号の実践的な構築につながる。 さらに、確率論的アプローチにより、ランダムおよび決定論的符号付き分散テンソルに関する驚くべき不合理性定理を発見することができる。

関連論文リスト

• OD-Stega: LLM-Based Near-Imperceptible Steganography via Optimized Distributions [7.611860976107124]
  本研究では,Large Language Modelが算術符号デコーダを駆動してステゴテキストを生成する,隠蔽型ステガノグラフィについて考察する。 効率的な方法は、秘密のメッセージビットをできるだけ少数の言語トークンに埋め込む必要がある。
  論文  参考訳（メタデータ） (2024-10-06T01:30:45Z)
• Derandomizing Multi-Distribution Learning [28.514129340758938]
  マルチディストリビューション学習では、複数のデータ分散でうまく動作する単一の予測子を学習する。 近年の研究では、オラクル効率のアルゴリズムにより、ほぼ最適サンプルの複雑さが達成されている。 これらのアルゴリズムは、複数の分布に対する決定論的予測子を生成するためにデランドマイズできるのだろうか?
  論文  参考訳（メタデータ） (2024-09-26T06:28:56Z)
• Learning Regularities from Data using Spiking Functions: A Theory [1.3735277588793995]
  我々は,正則性の定義を数学で定義する新しい機械学習理論を提案する。 発見された非ランダム性は、関数が十分単純であれば正則性に符号化される。 この過程において、最適なスパイク関数である「ベスト」正則性は、最も多くの情報を取得することができるものであると主張する。
  論文  参考訳（メタデータ） (2024-05-19T22:04:11Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• qecGPT: decoding Quantum Error-correcting Codes with Generative Pre-trained Transformers [5.392298820599664]
  生成モデルを用いて量子誤り訂正符号を復号するフレームワークを提案する。 自動回帰ニューラルネットワーク、特にトランスフォーマーを用いて、論理演算子とシンドロームの結合確率を学習する。 我々のフレームワークは汎用的であり、様々なトポロジを持つ任意のエラーモデルや量子コードに適用できる。
  論文  参考訳（メタデータ） (2023-07-18T07:34:02Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Generative Semantic Hashing Enhanced via Boltzmann Machines [61.688380278649056]
  既存の生成ハッシュ法は、主に後部分布の分解形式を仮定する。 本稿では,ボルツマンマシンの分布を検索後部として利用することを提案する。 ハッシュコード内の異なるビット間の相関関係を効果的にモデル化することにより、我々のモデルは大幅な性能向上を達成できることを示す。
  論文  参考訳（メタデータ） (2020-06-16T01:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。