論文の概要: Orthogonal Over-Parameterized Training

• arxiv url: http://arxiv.org/abs/2004.04690v6
• Date: Sat, 5 Jun 2021 00:31:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 02:01:52.854087
• Title: Orthogonal Over-Parameterized Training
• Title（参考訳）: 直交オーバーパラメータトレーニング
• Authors: Weiyang Liu, Rongmei Lin, Zhen Liu, James M. Rehg, Liam Paull, Li Xiong, Le Song, Adrian Weller
• Abstract要約: 超球面上のニューロンの多様性を特徴付ける超球面エネルギーを確実に最小化できる新しいトレーニングフレームワークを提案する。 OPTがインダクティブスタンダードトレーニングよりも優れた一般化をもたらす理由について,いくつかの知見を提供する。
• 参考スコア（独自算出の注目度）: 90.93276342756864
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The inductive bias of a neural network is largely determined by the architecture and the training algorithm. To achieve good generalization, how to effectively train a neural network is of great importance. We propose a novel orthogonal over-parameterized training (OPT) framework that can provably minimize the hyperspherical energy which characterizes the diversity of neurons on a hypersphere. By maintaining the minimum hyperspherical energy during training, OPT can greatly improve the empirical generalization. Specifically, OPT fixes the randomly initialized weights of the neurons and learns an orthogonal transformation that applies to these neurons. We consider multiple ways to learn such an orthogonal transformation, including unrolling orthogonalization algorithms, applying orthogonal parameterization, and designing orthogonality-preserving gradient descent. For better scalability, we propose the stochastic OPT which performs orthogonal transformation stochastically for partial dimensions of neurons. Interestingly, OPT reveals that learning a proper coordinate system for neurons is crucial to generalization. We provide some insights on why OPT yields better generalization. Extensive experiments validate the superiority of OPT over the standard training.
• Abstract（参考訳）: ニューラルネットワークの帰納バイアスは、主にアーキテクチャとトレーニングアルゴリズムによって決定される。 優れた一般化を実現するために、ニューラルネットワークを効果的にトレーニングする方法は非常に重要である。 超球面上のニューロンの多様性を特徴付ける超球面エネルギーを確実に最小化できる新しい直交過パラメータトレーニング(OPT)フレームワークを提案する。 トレーニング中に最小超球面エネルギーを維持することで、OPTは経験的一般化を大幅に改善することができる。 具体的には、OPTはランダムに初期化されたニューロンの重みを固定し、これらのニューロンに適用される直交変換を学ぶ。 直交化アルゴリズムのアンロール化、直交パラメータ化の適用、直交保存勾配降下の設計など、このような直交変換を学習する複数の方法を検討する。 拡張性を向上させるため,ニューロンの部分次元を確率的に直交変換する確率的OPTを提案する。 興味深いことに、OPTはニューロンの適切な座標系を学ぶことが一般化に不可欠であることを明らかにしている。 OPTがより良い一般化をもたらす理由について、いくつかの知見を提供する。 広汎な実験は、標準トレーニングよりもOPTの方が優れていることを検証する。

関連論文リスト

• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
  ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。 このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
  論文  参考訳（メタデータ） (2023-07-11T11:53:25Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Energy Efficient Training of SNN using Local Zeroth Order Method [18.81001891391638]
  ニューラルネットワークのスパイクは、現実世界のタスクにおける低エネルギー要求でますます人気が高まっている。 SNNトレーニングアルゴリズムは、Heaviside関数による勾配情報と非微分可能性の喪失に直面している。 本稿では,後方パスにおけるHeavisideの微分可能近似を提案し,前方パスはHeavisideをスパイク関数として利用する。
  論文  参考訳（メタデータ） (2023-02-02T06:57:37Z)
• Neural network with optimal neuron activation functions based on additive Gaussian process regression [0.0]
  より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。 加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。 ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
  論文  参考訳（メタデータ） (2023-01-13T14:19:17Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• EBM-Fold: Fully-Differentiable Protein Folding Powered by Energy-based Models [53.17320541056843]
  本研究では,データ駆動型生成ネットワークを用いたタンパク質構造最適化手法を提案する。 EBM-Foldアプローチは,従来のロゼッタ構造最適化ルーチンと比較して,高品質なデコイを効率よく生成できる。
  論文  参考訳（メタデータ） (2021-05-11T03:40:29Z)
• Learning with Hyperspherical Uniformity [35.22121127423701]
  L2正規化はニューラルネットワークの標準正規化として機能する。 これに動機づけられた超球面均一性は、関係正規化の新しい族として提案される。
  論文  参考訳（メタデータ） (2021-03-02T11:20:30Z)
• A Deep Conditioning Treatment of Neural Networks [37.192369308257504]
  本研究では,入力データの特定のカーネル行列の条件付けを改善することにより,ニューラルネットワークのトレーニング性を向上させることを示す。 ニューラルネットワークの上位層のみのトレーニングと、ニューラルネットワークのタンジェントカーネルを通じてすべてのレイヤをトレーニングするための学習を行うためのバージョンを提供しています。
  論文  参考訳（メタデータ） (2020-02-04T20:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。