論文の概要: Optical Phase Dropout in Diffractive Deep Neural Network

• arxiv url: http://arxiv.org/abs/2011.14130v1
• Date: Sat, 28 Nov 2020 13:33:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 19:57:25.331788
• Title: Optical Phase Dropout in Diffractive Deep Neural Network
• Title（参考訳）: 回折型ディープニューラルネットワークにおける光位相降下
• Authors: Yong-Liang Xiao
• Abstract要約: 単体学習は、完全な接続を持つ深層複素数値ニューラルネットワークにおいて、ユニタリウェイト更新を更新するのに役立つ。 ユニタリ重みの正方行列特性は、関数信号がうまく一般化できない有限次元を持つことを誘導する。 複素ドロップアウトから進化し、統計的推論を持つユニタリ空間における位相降下は、初めて定式化される。 ディジタルモデルと拡散モデルとの等価性は、[DN]2で物理的に実装された非線形活性化を回避できる化合物変調を決定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unitary learning is a backpropagation that serves to unitary weights update in deep complex-valued neural network with full connections, meeting a physical unitary prior in diffractive deep neural network ([DN]2). However, the square matrix property of unitary weights induces that the function signal has a limited dimension that could not generalize well. To address the overfitting problem that comes from the small samples loaded to [DN]2, an optical phase dropout trick is implemented. Phase dropout in unitary space that is evolved from a complex dropout and has a statistical inference is formulated for the first time. A synthetic mask recreated from random point apertures with random phase-shifting and its smothered modulation tailors the redundant links through incompletely sampling the input optical field at each diffractive layer. The physical features about the synthetic mask using different nonlinear activations are elucidated in detail. The equivalence between digital and diffractive model determines compound modulations that could successfully circumvent the nonlinear activations physically implemented in [DN]2. The numerical experiments verify the superiority of optical phase dropout in [DN]2 to enhance accuracy in 2D classification and recognition tasks-oriented.
• Abstract（参考訳）: ユニタリ・ラーニング(英: unitary learning)は、拡散型ディープ・ニューラル・ネットワーク([dn]2)に先行する物理的ユニタリに満ちた、複雑な値の深層ニューラルネットワークにおけるユニタリ重み更新に役立つバックプロパゲーションである。 しかし、ユニタリ重みの平方行列の性質は、関数信号が十分一般化できない限定次元を持つことを誘導する。 dn]2にロードされた小さなサンプルから生じるオーバーフィッティング問題に対処するために、光位相ドロップアウトトリックが実装される。 複素ドロップアウトから進化し、統計的推論を持つユニタリ空間における位相降下は、初めて定式化される。 ランダムな位相シフトを伴うランダムな点開口から再現された合成マスクとそのスマザード変調は、各回折層における入力光場を不完全サンプリングすることにより冗長リンクを調整する。 異なる非線形活性化を用いた合成マスクの物理的特徴を詳細に解明する。 デジタルモデルと微分モデルの等価性は、[DN]2で物理的に実装された非線形活性化を回避できる化合物変調を決定する。 数値実験により,[DN]2における光位相降下の優位性が検証され,2次元分類および認識タスクの精度が向上した。

関連論文リスト

• Training Large-Scale Optical Neural Networks with Two-Pass Forward Propagation [0.0]
  本稿では、トレーニング効率、非線形関数の実装、大規模入力データ処理に関連する光学ニューラルネットワーク(ONN)の限界について述べる。 ランダムノイズによる誤差の変調と再入出力により,特定の非線形アクティベーション関数を回避する新しいトレーニング手法であるTwo-Pass Forward Propagationを導入する。 統合光学系における単純なニューラルネットワークを用いた畳み込みニューラルネットワークの新たな実装法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:27:01Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• DIFFnet: Diffusion parameter mapping network generalized for input diffusion gradient schemes and bvalues [6.7487278071108525]
  DIFFnetと呼ばれる新しいディープニューラルネットワークが開発され、拡散重み付けされた信号の一般化再構成ツールとして機能する。 DIFFnetは拡散テンソルイメージング(DIFFnetDTI)およびニューロライト配向分散と密度イメージング(DIFFnetNODDI)のために評価される。 その結果, ほぼ少ない処理時間で拡散パラメータの正確な再構成が得られた。
  論文  参考訳（メタデータ） (2021-02-04T07:45:36Z)
• Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
  連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。 エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。 本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
  論文  参考訳（メタデータ） (2021-01-18T16:31:19Z)
• Quantal synaptic dilution enhances sparse encoding and dropout regularisation in deep networks [0.0]
  ドロップアウト(Dropout)は、ディープネットワークをトレーニングしながら、オーバーフィッティングを減らすためにユニットのアクティビティを沈黙させるテクニックである。 本稿では,神経シナプスの量子的性質に基づく生物学的に妥当なドロップアウト規則化モデルであるQuantal Synaptic Dilution(QSD)を紹介する。
  論文  参考訳（メタデータ） (2020-09-28T09:29:49Z)
• Unitary Learning for Deep Diffractive Neural Network [0.0]
  深層拡散型ニューラルネットワーク上での一元学習プロトコルを提案する。 単元学習における時間空間の進化特性を定式化し解明する。 予備的な応用として、単位学習を伴う深層拡散ニューラルネットワークを2次元分類と検証タスクに仮実装する。
  論文  参考訳（メタデータ） (2020-08-17T07:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。