Fugu-MT 論文翻訳(概要): Information Geometry of Dropout Training

論文の概要: Information Geometry of Dropout Training

arxiv url: http://arxiv.org/abs/2206.10936v1
Date: Wed, 22 Jun 2022 09:27:41 GMT
ステータス: 処理完了
システム内更新日: 2022-06-24 00:26:09.293416
Title: Information Geometry of Dropout Training
Title（参考訳）: ドロップアウトトレーニングの情報幾何学
Authors: Masanari Kimura, Hideitsu Hino
Abstract要約: Dropoutは、ニューラルネットワークトレーニングにおける最も一般的な正規化テクニックの1つである。本稿では,情報幾何学の観点から,ドロップアウトの特性を統一的に論じる。
参考スコア（独自算出の注目度）: 5.990174495635326
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Dropout is one of the most popular regularization techniques in neural network training. Because of its power and simplicity of idea, dropout has been analyzed extensively and many variants have been proposed. In this paper, several properties of dropout are discussed in a unified manner from the viewpoint of information geometry. We showed that dropout flattens the model manifold and that their regularization performance depends on the amount of the curvature. Then, we showed that dropout essentially corresponds to a regularization that depends on the Fisher information, and support this result from numerical experiments. Such a theoretical analysis of the technique from a different perspective is expected to greatly assist in the understanding of neural networks, which are still in their infancy.
Abstract（参考訳）: dropoutは、ニューラルネットワークトレーニングで最も一般的な正規化テクニックの1つである。アイデアの力とシンプルさから、ドロップアウトは広範囲に分析され、多くの変種が提案されている。本稿では,情報幾何の観点から,ドロップアウトのいくつかの特性を統一的に議論する。我々は,ドロップアウトがモデル多様体を平坦化し,それらの正規化性能が曲率の量に依存することを示した。そして,ドロップアウトは基本的にフィッシャー情報に依存する正規化に対応し,数値実験からこの結果を支持することを示した。このような異なる視点からの技術の理論分析は、まだ初期段階にあるニューラルネットワークの理解を大いに支援することが期待されている。

関連論文リスト

Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
論文参考訳（メタデータ） (2024-02-08T03:29:10Z)
On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文参考訳（メタデータ） (2023-12-13T02:11:07Z)
Implicit regularization of dropout [3.42658286826597]
一般的な正規化手法であるドロップアウトが、ニューラルネットワークトレーニング中に優れた一般化ソリューションを実現するのにどのように役立つかを理解することが重要である。本研究では,一連の実験によって検証されたドロップアウトの暗黙の正則化の理論的導出について述べる。降下によるトレーニングは、標準勾配降下訓練と比較して、より平坦な最小限のニューラルネットワークに導かれることを実験的に見出した。
論文参考訳（メタデータ） (2022-07-13T04:09:14Z)
Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文参考訳（メタデータ） (2021-11-03T15:14:20Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文参考訳（メタデータ） (2021-03-06T19:30:32Z)
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文参考訳（メタデータ） (2020-12-16T05:13:30Z)
Fiedler Regularization: Learning Neural Networks with Graph Sparsity [6.09170287691728]
ニューラルネットワークの基盤となるグラフィカル構造を包含し、尊重する、ディープラーニングのための新しい正規化アプローチを導入する。我々は、ニューラルネットワークの基盤となるグラフのFiedler値を正規化のツールとして使うことを提案する。
論文参考訳（メタデータ） (2020-03-02T16:19:33Z)
The Implicit and Explicit Regularization Effects of Dropout [43.431343291010734]
ドロップアウト(英: Dropout)は、多くのアーキテクチャの最先端を得るためにしばしば必要とされる、広く使われている正規化技術である。この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した。
論文参考訳（メタデータ） (2020-02-28T18:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。