論文の概要: Ghosts in Neural Networks: Existence, Structure and Role of
Infinite-Dimensional Null Space
- arxiv url: http://arxiv.org/abs/2106.04770v1
- Date: Wed, 9 Jun 2021 02:05:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-10 15:24:17.657314
- Title: Ghosts in Neural Networks: Existence, Structure and Role of
Infinite-Dimensional Null Space
- Title(参考訳): ニューラルネットワークにおけるゴースト:無限次元ヌル空間の存在、構造、役割
- Authors: Sho Sonoda, Isao Ishikawa, Masahiro Ikeda
- Abstract要約: 任意のヌル要素は、リッジレット変換の線形結合によって一意に書けることを示す。
応用として,深層学習におけるゴーストの役割について論じる。
- 参考スコア(独自算出の注目度): 10.527821704930371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overparametrization has been remarkably successful for deep learning studies.
This study investigates an overlooked but important aspect of overparametrized
neural networks, that is, the null components in the parameters of neural
networks, or the ghosts. Since deep learning is not explicitly regularized,
typical deep learning solutions contain null components. In this paper, we
present a structure theorem of the null space for a general class of neural
networks. Specifically, we show that any null element can be uniquely written
by the linear combination of ridgelet transforms. In general, it is quite
difficult to fully characterize the null space of an arbitrarily given
operator. Therefore, the structure theorem is a great advantage for
understanding a complicated landscape of neural network parameters. As
applications, we discuss the roles of ghosts on the generalization performance
of deep learning.
- Abstract(参考訳): オーバーパラメトリゼーションは、ディープラーニング研究で著しく成功した。
本研究では、過度にパラメータ化されたニューラルネットワーク、すなわちニューラルネットワークやゴーストのパラメータにおけるヌル成分の見過ごされているが重要な側面について検討する。
ディープラーニングは明確に正規化されていないため、典型的なディープラーニングソリューションにはヌル成分が含まれている。
本稿では,ニューラルネットワークの一般クラスに対するヌル空間の構造定理を提案する。
具体的には、任意のヌル要素はリッジレット変換の線形結合によって一意に書けることを示す。
一般に、任意の与えられた作用素の零空間を完全に特徴づけるのは難しい。
したがって、構造定理はニューラルネットワークパラメータの複雑なランドスケープを理解する上で大きな利点となる。
応用として、深層学習の一般化性能における幽霊の役割について論じる。
関連論文リスト
- Half-Space Feature Learning in Neural Networks [2.3249139042158853]
現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。
どちらの解釈も、新しい観点からは正しいとは考えにくい。
私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
論文 参考訳(メタデータ) (2024-04-05T12:03:19Z) - Null Space Properties of Neural Networks with Applications to Image
Steganography [6.063583864878311]
与えられたニューラルネットワークのヌル空間は、最終的な予測に寄与しない入力データの一部を教えてくれます。
ここで説明する1つの応用は、画像ステガノグラフィーの方法につながる。
論文 参考訳(メタデータ) (2024-01-01T03:32:28Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳(メタデータ) (2023-10-16T02:12:32Z) - Neural networks learn to magnify areas near decision boundaries [32.84188052937496]
本研究では,非拘束型ニューラルネットワーク特徴写像による幾何形状の学習方法について検討する。
まず、無限の幅でランダムパラメータを持つニューラルネットワークが入力空間上で高度に対称なメトリクスを誘導することを示す。
分類タスクを実行するために訓練されたネットワークは、決定境界に沿った地域を拡大するために学習する。
論文 参考訳(メタデータ) (2023-01-26T19:43:16Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳(メタデータ) (2023-01-01T02:11:39Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳(メタデータ) (2021-01-17T18:28:23Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。