論文の概要: Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment

• arxiv url: http://arxiv.org/abs/2012.06373v1
• Date: Fri, 11 Dec 2020 14:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 03:13:16.420141
• Title: Hardware Beyond Backpropagation: a Photonic Co-Processor for Direct Feedback Alignment
• Title（参考訳）: バックプロパゲーション以外のハードウェア:直接フィードバックアライメントのためのフォトニックコプロセッサ
• Authors: Julien Launay, Iacopo Poli, Kilian M\"uller, Gustave Pariente, Igor Carron, Laurent Daudet, Florent Krzakala, Sylvain Gigan
• Abstract要約: 数兆のパラメータでランダムなプロジェクションを計算できる、ダイレクトフィードバックアライメントのためのフォトニック加速器を提案する。 これはスケーラブルなハードウェアを構築するための重要なステップであり、バックプロパゲーションを超えることができる。
• 参考スコア（独自算出の注目度）: 26.65651157173834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scaling hypothesis motivates the expansion of models past trillions of parameters as a path towards better performance. Recent significant developments, such as GPT-3, have been driven by this conjecture. However, as models scale-up, training them efficiently with backpropagation becomes difficult. Because model, pipeline, and data parallelism distribute parameters and gradients over compute nodes, communication is challenging to orchestrate: this is a bottleneck to further scaling. In this work, we argue that alternative training methods can mitigate these issues, and can inform the design of extreme-scale training hardware. Indeed, using a synaptically asymmetric method with a parallelizable backward pass, such as Direct Feedback Alignement, communication needs are drastically reduced. We present a photonic accelerator for Direct Feedback Alignment, able to compute random projections with trillions of parameters. We demonstrate our system on benchmark tasks, using both fully-connected and graph convolutional networks. Our hardware is the first architecture-agnostic photonic co-processor for training neural networks. This is a significant step towards building scalable hardware, able to go beyond backpropagation, and opening new avenues for deep learning.
• Abstract（参考訳）: スケーリング仮説は、パフォーマンス向上への道筋として、パラメータ数兆を超えるモデルの拡張を動機付けている。 GPT-3のような最近の重要な発展はこの予想によって推進されている。 しかし,モデルがスケールアップするにつれて,バックプロパゲーションで効率的にトレーニングすることが困難になる。 モデル、パイプライン、データ並列性は、計算ノードにパラメータと勾配を分散させるため、通信のオーケストレーションは困難である。 本研究では,これらの問題を緩和し,超大規模トレーニングハードウェアの設計を通知できる代替トレーニング手法について論じる。 実際、ダイレクトフィードバックアライメントのような並列化可能な後方パスを持つシンセプティック非対称な手法を用いることで、通信の必要性は劇的に減少する。 数兆のパラメータでランダムなプロジェクションを計算できる、ダイレクトフィードバックアライメントのためのフォトニック加速器を提案する。 本稿では,完全連結ネットワークとグラフ畳み込みネットワークを用いて,ベンチマークタスクを行うシステムを示す。 私たちのハードウェアは、ニューラルネットワークをトレーニングする最初のアーキテクチャに依存しないフォトニックコプロセッサです。 これはスケーラブルなハードウェアを構築するための重要なステップであり、バックプロパゲーションを超えて、ディープラーニングのための新たな道を開くことができる。

関連論文リスト

• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。 この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
  論文  参考訳（メタデータ） (2022-12-29T15:10:59Z)
• Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
  グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。 グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。 本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-09T17:51:13Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Gradient Forward-Propagation for Large-Scale Temporal Video Modelling [13.665160620951777]
  バックプロパゲーションは前方と後方のパスが完了するまで計算をブロックする。 時間信号の場合、これはレイテンシが高く、リアルタイム学習を妨げる。 本稿では,Sideways上に構築し,時間内に近似勾配を伝搬することでブロッキングを回避する。 計算を分離し、個々のニューラルネットワークモジュールを異なるデバイスに委譲する方法を示し、分散および並列トレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-06-15T17:50:22Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• One-step regression and classification with crosspoint resistive memory arrays [62.997667081978825]
  高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。 ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。 結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
  論文  参考訳（メタデータ） (2020-05-05T08:00:07Z)
• Pipelined Backpropagation at Scale: Training Large Models without Batches [0.9580895202050946]
  我々は,非同期パイプライン並列学習アルゴリズムである細粒度パイプラインバックプロパゲーションの小型バッチの利用を評価した。 適切な正規化と小さなバッチサイズは、トレーニングにも役立ちます。
  論文  参考訳（メタデータ） (2020-03-25T22:26:28Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。