論文の概要: On the distance between two neural networks and the stability of
learning
- arxiv url: http://arxiv.org/abs/2002.03432v3
- Date: Fri, 8 Jan 2021 13:51:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 14:07:37.147937
- Title: On the distance between two neural networks and the stability of
learning
- Title（参考訳）: 2つのニューラルネットワーク間の距離と学習の安定性について
- Authors: Jeremy Bernstein, Arash Vahdat, Yisong Yue, Ming-Yu Liu
- Abstract要約: 本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
- 参考スコア（独自算出の注目度）: 59.62047284234815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper relates parameter distance to gradient breakdown for a broad class
of nonlinear compositional functions. The analysis leads to a new distance
function called deep relative trust and a descent lemma for neural networks.
Since the resulting learning rule seems to require little to no learning rate
tuning, it may unlock a simpler workflow for training deeper and more complex
neural networks. The Python code used in this paper is here:
https://github.com/jxbz/fromage.
- Abstract（参考訳）: 本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
結果として生じる学習規則は、学習率チューニングをほとんど必要とせず、より深く複雑なニューラルネットワークをトレーニングするためのより単純なワークフローをアンロックする可能性がある。
この論文で使われているPythonコードは以下のとおりである。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - On the High Symmetry of Neural Network Functions [0.0]
ニューラルネットワークを訓練することは、高次元最適化問題を解決することを意味する。
本稿では,ニューラルネットワークの設計方法から,パラメータ空間においてニューラルネットワーク関数が非常に大きな対称性を示すことを示す。
論文 参考訳（メタデータ） (2022-11-12T07:51:14Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - Extremal learning: extremizing the output of a neural network in
regression problems [0.0]
我々は、回帰問題において、トレーニングされたニューラルネットワークのエクストリームを効率的に見つける方法を示す。
近似モデルの極限入力を見つけることは、追加のニューラルネットワークのトレーニングとして定式化される。
論文 参考訳（メタデータ） (2021-02-06T18:01:17Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。