論文の概要: Generalized Lagrange Coded Computing: A Flexible Computation-Communication Tradeoff for Resilient, Secure, and Private Computation

• arxiv url: http://arxiv.org/abs/2204.11168v3
• Date: Wed, 06 Nov 2024 01:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:35:31.446677
• Title: Generalized Lagrange Coded Computing: A Flexible Computation-Communication Tradeoff for Resilient, Secure, and Private Computation
• Title（参考訳）: 汎用ラグランジュ符号化コンピューティング: レジリエンス、セキュア、プライベートな計算のためのフレキシブルな計算通信トレードオフ
• Authors: Jinbao Zhu, Hengxuan Tang, Songze Li, Yijia Chang,
• Abstract要約: 一般ラグランジュ符号計算(GLCC)符号は、時間内に結果を返さないストラグラーに対してレジリエンスを提供するために提案される。 LCCコードには、特殊なケースとして、最先端のラグランジュ・コードド・コンピューティング(LCC)コードが含まれる。
• 参考スコア（独自算出の注目度）: 11.951700263976777
• License:
• Abstract: We consider the problem of evaluating arbitrary multivariate polynomials over a massive dataset containing multiple inputs, on a distributed computing system with a master node and multiple worker nodes. Generalized Lagrange Coded Computing (GLCC) codes are proposed to simultaneously provide resiliency against stragglers who do not return computation results in time, security against adversarial workers who deliberately modify results for their benefit, and information-theoretic privacy of the dataset amidst possible collusion of workers. GLCC codes are constructed by first partitioning the dataset into multiple groups, then encoding the dataset using carefully designed interpolating polynomials, and sharing multiple encoded data points to each worker, such that interference computation results across groups can be eliminated at the master. Particularly, GLCC codes include the state-of-the-art Lagrange Coded Computing (LCC) codes as a special case, and exhibit a more flexible tradeoff between communication and computation overheads in optimizing system efficiency. Furthermore, we apply GLCC to distributed training of machine learning models, and demonstrate that GLCC codes achieve a speedup of up to $2.5\text{--}3.9\times$ over LCC codes in training time, across experiments for training image classifiers on different datasets, model architectures, and straggler patterns.
• Abstract（参考訳）: 本稿では、マスタノードと複数のワーカノードを持つ分散コンピューティングシステムにおいて、複数の入力を含む大規模データセット上で任意の多変量多項式を評価することの問題点を考察する。 汎用ラグランジュ符号化コンピューティング(GLCC)符号は、時間内に計算結果を返さないストラグラーに対するレジリエンス、利益のために意図的に結果を変更する敵の労働者に対するセキュリティ、労働者の共謀の可能性を秘めたデータセットの情報理論プライバシを同時に提供するために提案されている。 GLCCコードは、まずデータセットを複数のグループに分割し、次に慎重に設計された補間多項式を使用してデータセットを符号化し、各ワーカーに複数の符号化されたデータポイントを共有することで構成される。 特に、GLCC符号は、最先端のラグランジュ符号計算(LCC)符号を特別なケースとして含み、システム効率を最適化する際の通信と計算オーバーヘッドの間のより柔軟なトレードオフを示す。 さらに、機械学習モデルの分散トレーニングにGLCCを適用し、異なるデータセット、モデルアーキテクチャ、ストラグラーパターンで画像分類器をトレーニングするための実験を通して、トレーニング時間に最大2.5\text{--}3.9\times$でLCCコードを超えるスピードアップを達成することを実証する。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data [64.69872638349922]
  本稿では、マルチソースデータに微調整されたコード生成と一般化機能を備えたコードLLMのシリーズであるAlchemistCoderを紹介する。 本稿では,データ構築過程を微調整データに組み込んで,命令の進化,データフィルタリング,コードレビューなどのコード理解タスクを提案する。
  論文  参考訳（メタデータ） (2024-05-29T16:57:33Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• Graph-Collaborated Auto-Encoder Hashing for Multi-view Binary Clustering [11.082316688429641]
  マルチビューバイナリクラスタリングのための自動エンコーダに基づくハッシュアルゴリズムを提案する。 具体的には,低ランク制約を用いた多視点親和性グラフ学習モデルを提案する。 また、複数の親和性グラフを協調して協調するエンコーダ・デコーダのパラダイムを設計し、統一されたバイナリコードを効果的に学習する。
  論文  参考訳（メタデータ） (2023-01-06T12:43:13Z)
• A Learning-Based Approach to Approximate Coded Computation [22.886991943938703]
  我々は、LCCにインスパイアされたAI支援学習アプローチであるAICCを提案し、深層ニューラルネットワーク(DNN)も使用している。 より一般的な関数の符号化計算には適している。
  論文  参考訳（メタデータ） (2022-05-19T19:43:53Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• Analog Lagrange Coded Computing [23.67685616088422]
  分散コンピューティングシナリオは、ワーカノードの集合の計算能力を使用して、ワーカ間で分散されたデータセット上で特定の計算タスクを実行する。 Yuらによって提案されたLCCは、符号化コンピューティングにおいてよく知られたラグランジュ演算を利用する。 アナログドメイン(ALCC)に対するLCCの新規拡張を提案する。
  論文  参考訳（メタデータ） (2020-08-19T17:47:37Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。