論文の概要: A Projection Algorithm for the Unitary Weights

• arxiv url: http://arxiv.org/abs/2102.10052v1
• Date: Fri, 19 Feb 2021 17:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-22 13:38:00.564212
• Title: A Projection Algorithm for the Unitary Weights
• Title（参考訳）: 単位重みに対する投影アルゴリズム
• Authors: Hao-Yuan Chang (University of California, Los Angeles)
• Abstract要約: ユニタリニューラルネットワークは、爆発と消滅のアクティベーション/勾配問題を解決するための代替手段として有望である。 重量行列に一元的制約を加えるため、しばしば長い訓練時間を必要とする。 ここでは, 事前学習された非単位級数からの近似ユニタリ重みの計算に, リー代数を用いたバックプロパゲーション手法を用いた新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Unitary neural networks are promising alternatives for solving the exploding and vanishing activation/gradient problem without the need for explicit normalization that reduces the inference speed. However, they often require longer training time due to the additional unitary constraints on their weight matrices. Here we show a novel algorithm using a backpropagation technique with Lie algebra for computing approximated unitary weights from their pre-trained, non-unitary counterparts. The unitary networks initialized with these approximations can reach the desired accuracies much faster, mitigating their training time penalties while maintaining inference speedups. Our approach will be instrumental in the adaptation of unitary networks, especially for those neural architectures where pre-trained weights are freely available.
• Abstract（参考訳）: ユニタリニューラルネットワークは、推論速度を低下させる明示的な正規化を必要とせずに、爆発と消滅のアクティベーション/勾配問題を解決するための代替手段として有望である。 しかし、重み行列にユニタリな制約が加えられるため、長いトレーニング時間を必要とすることが多い。 ここでは, 事前学習された非単位級数からの近似ユニタリ重みの計算に, リー代数を用いたバックプロパゲーション手法を用いた新しいアルゴリズムを提案する。 これらの近似で初期化されたユニタリネットワークは、推論スピードアップを維持しながら、トレーニング時間のペナルティを軽減し、望ましい精度に達することができる。 我々のアプローチはユニタリネットワーク、特に事前訓練された重みが自由に利用できるニューラルネットワークの適応に役立ちます。

関連論文リスト

• Simmering: Sufficient is better than optimal for training neural networks [0.0]
  これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。 我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。 本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
  論文  参考訳（メタデータ） (2024-10-25T18:02:08Z)
• Preconditioners for the Stochastic Training of Implicit Neural Representations [30.92757082348805]
  複雑な連続多次元信号をニューラルネットワークとして符号化する強力な手法として、暗黙の神経表現が登場した。 本稿では,様々な信号モダリティにまたがる実効性を示すために,対角プレコンディショナーを用いたトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:46:37Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations [2.3488056916440856]
  効率的なローランクワークを見つけるための新しいアルゴリズムを提案する。 これらの作業は、トレーニングフェーズですでに決定され、適応されています。 本手法は,所望の近似精度を達成するために,訓練中のランクを自動的に動的に適応させる。
  論文  参考訳（メタデータ） (2022-05-26T18:18:12Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Fast semidefinite programming with feedforward neural networks [0.0]
  本稿では,ニューラルネットワークを用いた実現可能性半定プログラムを提案する。 半確定プログラムを一度でも正確に解くことなく、ネットワークをトレーニングする。 トレーニングされたニューラルネットワークは、従来の解法と比較して、桁違いにスピードが向上することを示している。
  論文  参考訳（メタデータ） (2020-11-11T14:01:34Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。