論文の概要: Universal Joint Approximation of Manifolds and Densities by Simple Injective Flows

• arxiv url: http://arxiv.org/abs/2110.04227v1
• Date: Fri, 8 Oct 2021 16:29:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-11 16:19:12.532518
• Title: Universal Joint Approximation of Manifolds and Densities by Simple Injective Flows
• Title（参考訳）: 単純注入流による多様体と密度の普遍的ジョイント近似
• Authors: Michael Puthawala, Matti Lassas, Ivan Dokmani\'c, Maarten de Hoop
• Abstract要約: 射出膨張要素からなるニューラルネットワークは,その上に支持された密度と同時に多様体のクラスを近似する。 この結果は、よく知られた結合と自己回帰フローに適用できる。 研究対象のネットワークは、正確なレイヤーワイド・プロジェクション結果を持つことを示す。
• 参考スコア（独自算出の注目度）: 20.355552539489313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze neural networks composed of bijective flows and injective expansive elements. We find that such networks universally approximate a large class of manifolds simultaneously with densities supported on them. Among others, our results apply to the well-known coupling and autoregressive flows. We build on the work of Teshima et al. 2020 on bijective flows and study injective architectures proposed in Brehmer et al. 2020 and Kothari et al. 2021. Our results leverage a new theoretical device called the embedding gap, which measures how far one continuous manifold is from embedding another. We relate the embedding gap to a relaxation of universally we call the manifold embedding property, capturing the geometric part of universality. Our proof also establishes that optimality of a network can be established in reverse, resolving a conjecture made in Brehmer et al. 2020 and opening the door for simple layer-wise training schemes. Finally, we show that the studied networks admit an exact layer-wise projection result, Bayesian uncertainty quantification, and black-box recovery of network weights.
• Abstract（参考訳）: 我々は、単射流と射出膨張要素からなるニューラルネットワークを解析する。 このようなネットワークは多様体の大きなクラスを普遍的に近似し、それらの密度が支持される。 中でも,本研究の結果は,よく知られたカップリングと自己回帰流に適用できる。 我々は,teshima et al. 2020 の単射流に関する研究と brehmer et al. 2020 と kothari et al. 2021 で提案された注入構造の研究を基礎としている。 我々の結果は埋め込みギャップと呼ばれる新しい理論装置を利用しており、1つの連続多様体が別の埋め込みからどれくらい遠いかを測定する。 埋め込みギャップを普遍性の緩和に関連付け、多様体埋め込み特性と呼び、普遍性の幾何学的部分を取り込む。 我々の証明はまた、ネットワークの最適性は逆で確立できることを証明し、Brehmerらによる2020年の予想を解消し、単純な階層的なトレーニングスキームの扉を開く。 最後に,研究したネットワークは,正確な層方向の投影結果,ベイズの不確かさの定量化,ネットワーク重みのブラックボックスリカバリを許容することを示した。

関連論文リスト

• Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
  層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。 モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。 また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
  論文  参考訳（メタデータ） (2023-02-20T01:30:27Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• ReduNet: A White-box Deep Network from the Principle of Maximizing Rate Reduction [32.489371527159236]
  この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。 高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。 速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
  論文  参考訳（メタデータ） (2021-05-21T16:29:57Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)
• You say Normalizing Flows I see Bayesian Networks [11.23030807455021]
  正規化フローは、予め定義された位相と各ノードでの学習可能な密度を持つベイズネットワークに還元されることを示す。 正規化フローにおける多重変換の積み重ねは独立性の仮定を緩和し、モデル分布を絡ませることを示す。 我々は,その深さに関わらず,アフィン正規化流れの不均一性を証明した。
  論文  参考訳（メタデータ） (2020-06-01T11:54:50Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。