論文の概要: Efficient Training for Optical Computing

• arxiv url: http://arxiv.org/abs/2506.20833v1
• Date: Wed, 25 Jun 2025 21:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.889246
• Title: Efficient Training for Optical Computing
• Title（参考訳）: 光コンピューティングのための効率的なトレーニング
• Authors: Manon P. Bart, Nick Sparks, Ryan T. Glasser,
• Abstract要約: 本稿では,フーリエ変換による平面波の分解を取り入れた新しいバックプロパゲーションアルゴリズムを提案する。 学習・推論において,拡散系の構造的・疎結合性を生かし,トレーニング時間の大幅な短縮を図った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffractive optical information processors have demonstrated significant promise in delivering high-speed, parallel, and energy efficient inference for scaling machine learning tasks. Training, however, remains a major computational bottleneck, compounded by large datasets and many simulations required for state-of-the-art classification models. The underlying linear transformations in such systems are inherently constrained to compositions of circulant and diagonal matrix factors, representing free-space propagation and phase and/or amplitude modulation of light, respectively. While theoretically established that an arbitrary linear transformation can be generated by such factors, only upper bounds on the number of factors exist, which are experimentally unfeasible. Additionally, physical parameters such as inter-layer distance, number of layers, and phase-only modulation further restrict the solution space. Without tractable analytical decompositions, prior works have implemented various constrained minimization techniques. As trainable elements occupy a small subset of the overall transformation, existing techniques incur unnecessary computational overhead, limiting scalability. In this work, we demonstrate significant reduction in training time by exploiting the structured and sparse nature of diffractive systems in training and inference. We introduce a novel backpropagation algorithm that incorporates plane wave decomposition via the Fourier transform, computing gradients across all trainable elements in a given layer simultaneously, using only change-of-basis and element wise multiplication. Given the lack of a closed-form mathematical decomposition for realizable optical architectures, this approach is not only valuable for machine learning tasks but broadly applicable for the generation of arbitrary linear transformations, wavefront shaping, and other signal processing tasks.
• Abstract（参考訳）: 回折光学情報プロセッサは、機械学習タスクをスケールするための高速で並列でエネルギー効率の良い推論を実現する上で、大きな可能性を証明している。 しかし、トレーニングは依然として大きなデータセットと最先端の分類モデルに必要な多くのシミュレーションによって合成され、大きな計算ボトルネックとなっている。 このような系の基底となる線形変換は、それぞれ自由空間の伝播と位相および/または光の振幅変調を表す循環行列因子と対角行列因子の合成に本質的に制約される。 そのような因子によって任意の線型変換が生成できることは理論上確立されているが、実験的に実現不可能な因子の数に関する上限のみが存在する。 さらに、層間距離、層数、位相のみの変調といった物理パラメータは、解空間をさらに制限する。 トラクタブルな解析的分解がなければ、先行研究は様々な制約付き最小化技術を実装してきた。 トレーニング可能な要素が全体的な変換の小さなサブセットを占めるため、既存のテクニックは不要な計算オーバーヘッドを発生させ、スケーラビリティを制限します。 本研究では,差動系の構造的・疎結合性を生かし,学習時間を大幅に短縮することを示す。 本稿では,Fourier変換による平面波の分解,与えられた層内のすべてのトレーニング可能な要素の勾配の計算を同時に行う,新しいバックプロパゲーションアルゴリズムを提案する。 実現可能な光学アーキテクチャのための閉形式数学的分解が欠如していることを考えると、このアプローチは機械学習のタスクだけでなく、任意の線形変換、波面形状、その他の信号処理タスクの生成にも広く応用できる。

関連論文リスト

• Multi-Layer Transformers Gradient Can be Approximated in Almost Linear Time [17.086679273053853]
  本研究では,新しい高速近似法により,ほぼ線形時間で勾配を計算することができることを示す。 勾配の効率を改善することで、この作業がより効果的なトレーニングと長期コンテキスト言語モデルのデプロイを促進することを期待する。
  論文  参考訳（メタデータ） (2024-08-23T17:16:43Z)
• Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution [13.298472586395276]
  科学データの解像度を高めるために,任意のスケールの超解像(SR)法を提案する。 異なるドメインからの多様なデータセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-05-20T17:39:29Z)
• Transformers Implement Functional Gradient Descent to Learn Non-Linear Functions In Context [44.949726166566236]
  非線形変換器は自然に関数空間の勾配降下を実装することを学習する。 また、非線形活性化の最適選択は、学習すべき関数のクラスに自然に依存していることも示している。
  論文  参考訳（メタデータ） (2023-12-11T17:05:25Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Beyond Regular Grids: Fourier-Based Neural Operators on Arbitrary Domains [13.56018270837999]
  本稿では,ニューラルネットワークを任意の領域に拡張する簡単な手法を提案する。 このような直接スペクトル評価の効率的な実装*は、既存のニューラル演算子モデルと結合する。 提案手法により,ニューラルネットワークを任意の点分布に拡張し,ベースライン上でのトレーニング速度を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T09:01:20Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Random Weight Factorization Improves the Training of Continuous Neural Representations [1.911678487931003]
  連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。 従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。 ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
  論文  参考訳（メタデータ） (2022-10-03T23:48:48Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。