論文の概要: Globally Injective ReLU Networks

• arxiv url: http://arxiv.org/abs/2006.08464v4
• Date: Fri, 8 Oct 2021 19:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:16:23.320142
• Title: Globally Injective ReLU Networks
• Title（参考訳）: グローバル注入型reluネットワーク
• Authors: Michael Puthawala, Konik Kothari, Matti Lassas, Ivan Dokmani\'c, Maarten de Hoop
• Abstract要約: インジェクティビティは、推論を可能にする生成モデルにおいて重要な役割を果たす。 完全連結型および畳み込み型ReLU層およびネットワークのインジェクティビティを鋭く評価する。
• 参考スコア（独自算出の注目度）: 20.106755410331576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Injectivity plays an important role in generative models where it enables inference; in inverse problems and compressed sensing with generative priors it is a precursor to well posedness. We establish sharp characterizations of injectivity of fully-connected and convolutional ReLU layers and networks. First, through a layerwise analysis, we show that an expansivity factor of two is necessary and sufficient for injectivity by constructing appropriate weight matrices. We show that global injectivity with iid Gaussian matrices, a commonly used tractable model, requires larger expansivity between 3.4 and 10.5. We also characterize the stability of inverting an injective network via worst-case Lipschitz constants of the inverse. We then use arguments from differential topology to study injectivity of deep networks and prove that any Lipschitz map can be approximated by an injective ReLU network. Finally, using an argument based on random projections, we show that an end-to-end -- rather than layerwise -- doubling of the dimension suffices for injectivity. Our results establish a theoretical basis for the study of nonlinear inverse and inference problems using neural networks.
• Abstract（参考訳）: インジェクティビティは推論を可能にする生成モデルにおいて重要な役割を担っており、逆問題や生成優先を伴う圧縮センシングでは、適切なポーズ性の前駆者となる。 完全連結型および畳み込み型ReLU層およびネットワークのインジェクティビティを鋭く評価する。 まず, 層別解析により, 2 の膨張係数が必要であり, 適切な重み行列を構築して射出性に十分であることを示す。 iid Gaussian行列を用いた大域的射影率(英語版)は3.4から10.5の間のより大きな拡張性を必要とすることを示す。 また、逆の最悪のケースリプシッツ定数を経由したインジェクティブネットワークの反転安定性を特徴付ける。 次に、微分トポロジーからの議論を用いて深部ネットワークの射影性を研究し、任意のリプシッツ写像が射影型ReLUネットワークによって近似できることを証明する。 最後に、ランダムな射影に基づく引数を用いて、層的にではなく、端から端までが射影の次元の倍になることを示す。 ニューラルネットワークを用いた非線形逆問題と推論問題の理論的基礎を確立した。

関連論文リスト

• Complexity of Deciding Injectivity and Surjectivity of ReLU Neural Networks [5.482420806459269]
  ReLU層の単射率を決定するためのcoNP完全性を証明する。 1次元出力を持つ2層ReLUネットワークのサージェクティビティも特徴付ける。
  論文  参考訳（メタデータ） (2024-05-30T08:14:34Z)
• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• Differentially Private Non-convex Learning for Multi-layer Neural Networks [35.24835396398768]
  本稿では,単一出力ノードを持つ(多層)完全連結ニューラルネットワークに対する差分的タンジェント最適化の問題に焦点をあてる。 ニューラルカーネル理論の最近の進歩を利用して、サンプルサイズとネットワーク幅の両方が十分に大きい場合に、最初の過剰人口リスクを提供する。
  論文  参考訳（メタデータ） (2023-10-12T15:48:14Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• A Unifying View on Implicit Bias in Training Linear Neural Networks [31.65006970108761]
  線形ニューラルネットワークトレーニングにおける勾配流(無限小ステップサイズの勾配勾配勾配勾配)の暗黙バイアスについて検討する。 本稿では, ニューラルネットワークのテンソルの定式化について検討し, 完全連結型, 対角型, 畳み込み型ネットワークを特殊な場合として提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。