論文の概要: Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent

• arxiv url: http://arxiv.org/abs/2201.12990v1
• Date: Mon, 31 Jan 2022 04:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 19:58:21.338087
• Title: Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent
• Title（参考訳）: 圧縮非同期勾配降下のための軽量射影微分符号
• Authors: Pedro Soto, Ilia Ilmer, Haibin Guan, Jun Li
• Abstract要約: 本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
• 参考スコア（独自算出の注目度）: 6.055286666916789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coded distributed computation has become common practice for performing gradient descent on large datasets to mitigate stragglers and other faults. This paper proposes a novel algorithm that encodes the partial derivatives themselves and furthermore optimizes the codes by performing lossy compression on the derivative codewords by maximizing the information contained in the codewords while minimizing the information between the codewords. The utility of this application of coding theory is a geometrical consequence of the observed fact in optimization research that noise is tolerable, sometimes even helpful, in gradient descent based learning algorithms since it helps avoid overfitting and local minima. This stands in contrast with much current conventional work on distributed coded computation which focuses on recovering all of the data from the workers. A second further contribution is that the low-weight nature of the coding scheme allows for asynchronous gradient updates since the code can be iteratively decoded; i.e., a worker's task can immediately be updated into the larger gradient. The directional derivative is always a linear function of the direction vectors; thus, our framework is robust since it can apply linear coding techniques to general machine learning frameworks such as deep neural networks.
• Abstract（参考訳）: 符号化分散計算は、ストラグラーやその他の故障を緩和するために、大規模なデータセットで勾配降下を行うための一般的な方法となっている。 本稿では,コードワードに含まれる情報を最大化し,コードワード間の情報を最小化することにより,部分微分自体を符号化する新しいアルゴリズムを提案する。 このコーディング理論の適用性は、ノイズが許容可能であり、場合によっては、勾配降下に基づく学習アルゴリズムにおいて有用である、という最適化研究における観測事実の幾何学的帰結である。 これは、ワーカからすべてのデータを復元することに焦点を当てた分散コード計算に関する従来の作業とは対照的である。 2つめの貢献は、コーディングスキームの低ウェイトな性質は、コードが反復的に復号化できるため、非同期の勾配更新を可能にすることである。 方向微分は常に方向ベクトルの線形関数であり、ディープニューラルネットワークのような一般的な機械学習フレームワークに線形符号化技術を適用することができるため、このフレームワークは堅牢である。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
  低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。 提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
  論文  参考訳（メタデータ） (2024-06-09T12:08:56Z)
• Graph Neural Networks for Enhanced Decoding of Quantum LDPC Codes [6.175503577352742]
  量子低密度パリティチェック(LDPC)符号に対する微分可能な反復デコーダを提案する。 提案アルゴリズムは,古典的信念伝達(BP)復号段階と中間グラフニューラルネットワーク(GNN)層から構成される。
  論文  参考訳（メタデータ） (2023-10-26T19:56:25Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Approximate Gradient Coding with Optimal Decoding [22.069731881164895]
  分散最適化問題では、グラデーションコーディングと呼ばれる手法が、ストラグリングマシンの効果を軽減するために用いられている。 近年の研究では、データの複製係数が低すぎる符号化スキームに関する近似勾配符号化について研究している。 拡張器グラフに基づく新しい近似勾配符号を導入し、各マシンが正確に2ブロックのデータポイントを受信する。
  論文  参考訳（メタデータ） (2020-06-17T03:46:27Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning [17.454251607446555]
  サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-05-14T17:57:13Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。