Fugu-MT 論文翻訳(概要): On the inductive bias of infinite-depth ResNets and the bottleneck rank

論文の概要: On the inductive bias of infinite-depth ResNets and the bottleneck rank

arxiv url: http://arxiv.org/abs/2501.19149v1
Date: Fri, 31 Jan 2025 14:06:13 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-03 14:04:00.069474
Title: On the inductive bias of infinite-depth ResNets and the bottleneck rank
Title（参考訳）: 無限深度ResNetの帰納バイアスとボトルネックランクについて
Authors: Enric Boix-Adsera,
Abstract要約: 我々は、深い線形ResNetの最小ノルム重を計算する。このアーキテクチャの帰納バイアスは、核の規範と階級を最小化することにある。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We compute the minimum-norm weights of a deep linear ResNet, and find that the inductive bias of this architecture lies between minimizing nuclear norm and rank. This implies that, with appropriate hyperparameters, deep nonlinear ResNets have an inductive bias towards minimizing bottleneck rank.
Abstract（参考訳）: 我々は、深い線形 ResNet の最小ノルム重量を計算し、このアーキテクチャの帰納バイアスは、核ノルムとランクを最小化することにある。これは、適切なハイパーパラメーターで、ディープ非線形ResNetはボトルネックランクを最小化する誘導バイアスを持つことを意味する。

関連論文リスト

Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks [4.6485895241404585]
深部線形ネットワークの正則化二乗損失の局所的幾何学的景観を特徴付ける。エラーホールドの下の十分かつ必要な条件を特定します。本研究では,線形ネットワークの正規化損失に対して勾配が線形収束を示すことを示す数値実験を行った。
論文参考訳（メタデータ） (2025-02-16T14:53:52Z)
Understanding the training of infinitely deep and wide ResNets with Conditional Optimal Transport [26.47265060394168]
深部ニューラルネットワークの勾配流は遠距離で任意に収束することを示す。これは空間における有限幅の勾配距離の理論に依存する。
論文参考訳（メタデータ） (2024-03-19T16:34:31Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Unsupervised Optimal Power Flow Using Graph Neural Networks [172.33624307594158]
グラフニューラルネットワークを用いて、要求された電力と対応するアロケーションとの間の非線形パラメトリゼーションを学習する。シミュレーションを通して、この教師なし学習コンテキストにおけるGNNの使用は、標準解法に匹敵するソリューションにつながることを示す。
論文参考訳（メタデータ） (2022-10-17T17:30:09Z)
Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias [4.37441734515066]
$mathcalR$-normは、2層ニューラルネットワークの誘導バイアスの基礎である。これらの補間子は,データに適合するリッジ関数があっても,本質的に多変量関数であることがわかった。
論文参考訳（メタデータ） (2022-06-10T18:33:15Z)
Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
論文参考訳（メタデータ） (2022-03-07T02:09:39Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
論文参考訳（メタデータ） (2020-08-07T02:55:28Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。