論文の概要: Optical Transformers
- arxiv url: http://arxiv.org/abs/2302.10360v1
- Date: Mon, 20 Feb 2023 23:30:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 16:52:25.046635
- Title: Optical Transformers
- Title(参考訳): 光変圧器
- Authors: Maxwell G. Anderson, Shi-Yuan Ma, Tianyu Wang, Logan G. Wright, Peter
L. McMahon
- Abstract要約: 大型トランスフォーマーモデルは、光学コンピューティングにとって良いターゲットになり得る。
光コンピュータは、300fJ/MACを達成できる最先端のデジタル電子プロセッサに対して、エネルギー効率の利点が8000ドル以上ある可能性がある。
- 参考スコア(独自算出の注目度): 5.494796517705931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapidly increasing size of deep-learning models has caused renewed and
growing interest in alternatives to digital computers to dramatically reduce
the energy cost of running state-of-the-art neural networks. Optical
matrix-vector multipliers are best suited to performing computations with very
large operands, which suggests that large Transformer models could be a good
target for optical computing. To test this idea, we performed small-scale
optical experiments with a prototype accelerator to demonstrate that
Transformer operations can run on optical hardware despite noise and errors.
Using simulations, validated by our experiments, we then explored the energy
efficiency of optical implementations of Transformers and identified scaling
laws for model performance with respect to optical energy usage. We found that
the optical energy per multiply-accumulate (MAC) scales as $\frac{1}{d}$ where
$d$ is the Transformer width, an asymptotic advantage over digital systems. We
conclude that with well-engineered, large-scale optical hardware, it may be
possible to achieve a $100 \times$ energy-efficiency advantage for running some
of the largest current Transformer models, and that if both the models and the
optical hardware are scaled to the quadrillion-parameter regime, optical
computers could have a $>8,000\times$ energy-efficiency advantage over
state-of-the-art digital-electronic processors that achieve 300 fJ/MAC. We
analyzed how these results motivate and inform the construction of future
optical accelerators along with optics-amenable deep-learning approaches. With
assumptions about future improvements to electronics and Transformer
quantization techniques (5$\times$ cheaper memory access, double the
digital--analog conversion efficiency, and 4-bit precision), we estimated that
optical computers' advantage against current 300-fJ/MAC digital processors
could grow to $>100,000\times$.
- Abstract(参考訳): ディープラーニングモデルのサイズが急速に増加すると、デジタルコンピュータに代わるものへの関心が高まり、最先端ニューラルネットワークのエネルギーコストが劇的に削減された。
光学行列ベクトル乗算器は、非常に大きなオペランドを持つ計算に最も適しており、これは大きなトランスフォーマーモデルが光学計算に適したターゲットであることを示唆している。
このアイデアをテストするために,プロトタイプアクセラレーターを用いて小型の光学実験を行い,ノイズやエラーにもかかわらずトランスフォーマーが光ハードウェア上で動作できることを実証した。
実験により検証したシミュレーションを用いて、トランスフォーマーの光実装のエネルギー効率について検討し、光エネルギー利用に関するモデル性能のスケーリング法則を同定した。
mac (multiply-accumulate) あたりの光エネルギーは$\frac{1}{d}$でスケールし、ここで$d$ はトランスフォーマー幅であり、デジタルシステムに対する漸近的な利点である。
我々は、高度に設計された大規模光学ハードウェアで、現在最大のトランスフォーマーモデルのいくつかを実行する上で、100ドル以上のエネルギー効率の利点を達成できると結論付け、もしモデルと光学ハードウェアの両方を4次パラメータにスケールすれば、300fJ/MACを達成する最先端のデジタルエレクトロニクスプロセッサよりも、8000ドル以上のエネルギー効率の利点を持つことができると結論付けた。
我々は、これらの結果が将来の光加速器の構築にどのように動機付け、情報を与えるか分析した。
電子回路とトランスフォーマー量子化技術(5$\times$安価なメモリアクセス、デジタルアナログ変換効率の2倍、4ビット精度)の今後の進歩を前提として、現在の300fJ/MACデジタルプロセッサに対する光学コンピュータの優位性は100,000\times$と見積もった。
関連論文リスト
- Transferable polychromatic optical encoder for neural networks [13.311727599288524]
本稿では,画像キャプチャ中に3つの色チャネルで同時に畳み込みを行う光学エンコーダを実演する。
このような光学符号化は計算処理を24,000倍に削減し、自由空間光学系における最先端の分類精度(73.2%)が得られる。
論文 参考訳(メタデータ) (2024-11-05T00:49:47Z) - Optical training of large-scale Transformers and deep neural networks with direct feedback alignment [48.90869997343841]
我々は,ハイブリッド電子フォトニックプラットフォーム上で,ダイレクトフィードバックアライメントと呼ばれる多目的でスケーラブルなトレーニングアルゴリズムを実験的に実装した。
光処理ユニットは、このアルゴリズムの中央動作である大規模ランダム行列乗算を最大1500テラOpsで行う。
我々は、ハイブリッド光アプローチの計算スケーリングについて検討し、超深度・広帯域ニューラルネットワークの潜在的な利点を実証する。
論文 参考訳(メタデータ) (2024-09-01T12:48:47Z) - TeMPO: Efficient Time-Multiplexed Dynamic Photonic Tensor Core for Edge
AI with Compact Slow-Light Electro-Optic Modulator [44.74560543672329]
我々は,TMPOと呼ばれる時間多重化動的フォトニックテンソルアクセラレータを,クロス層デバイス/回路/アーキテクチャのカスタマイズにより提案する。
我々は,368.6TOPSピーク性能,22.3TOPS/Wエネルギー効率,1.2TOPS/mm$2$計算密度を実現した。
この研究は、多層共設計とドメイン固有のカスタマイズの力を示し、将来の電子フォトニクス加速器への道を開く。
論文 参考訳(メタデータ) (2024-02-12T03:40:32Z) - Digital-analog hybrid matrix multiplication processor for optical neural
networks [11.171425574890765]
光ニューラルネットワーク(ONN)のためのディジタルアナログハイブリッド光コンピューティングアーキテクチャを提案する。
しきい値に基づく論理レベルと決定を導入することにより、計算精度を大幅に向上させることができる。
画素誤り率(PER)は18.2dBの信号対雑音比(SNR)で1.8times10-3$以下である。
論文 参考訳(メタデータ) (2024-01-26T18:42:57Z) - Quantum-limited millimeter wave to optical transduction [50.663540427505616]
量子情報の長距離伝送は、分散量子情報プロセッサの中心的な要素である。
トランスダクションへの現在のアプローチでは、電気ドメインと光ドメインの固体リンクが採用されている。
我々は、850ドルRbの低温原子をトランスデューサとして用いたミリ波光子の光子への量子制限変換を実証した。
論文 参考訳(メタデータ) (2022-07-20T18:04:26Z) - Single-Shot Optical Neural Network [55.41644538483948]
深層ニューラルネットワークに必要な計算資源を削減するために,「重定常」アナログ光学・電子ハードウェアが提案されている。
我々は、スケーラブルで1層当たり単発の重み付き光学プロセッサを提案する。
論文 参考訳(メタデータ) (2022-05-18T17:49:49Z) - An optical neural network using less than 1 photon per multiplication [4.003843776219224]
手書き桁分類において99%の精度を達成する光ニューラルネットワークを実験的に実証した。
この性能は、カスタム自由空間光学プロセッサを使用して達成された。
私達の結果は低光力操作のための原則を提供します。
論文 参考訳(メタデータ) (2021-04-27T20:43:23Z) - Dynamic compensation of stray electric fields in an ion trap using
machine learning and adaptive algorithm [55.41644538483948]
表面イオントラップは、量子コンピューティングマシンをスケールアップするための最も有望な技術の一つである。
ここでは、勾配降下アルゴリズムと機械学習技術を用いて、成層圏の電場補償を示す。
論文 参考訳(メタデータ) (2021-02-11T03:27:31Z) - Rapid characterisation of linear-optical networks via PhaseLift [51.03305009278831]
集積フォトニクスは優れた位相安定性を提供し、半導体産業によって提供される大規模な製造性に依存することができる。
このような光回路に基づく新しいデバイスは、機械学習アプリケーションにおいて高速でエネルギー効率の高い計算を約束する。
線形光ネットワークの転送行列を再構成する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-01T16:04:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。