論文の概要: On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks

• arxiv url: http://arxiv.org/abs/2308.09367v1
• Date: Fri, 18 Aug 2023 08:01:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 14:07:16.606936
• Title: On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks
• Title（参考訳）: 可逆ニューラルネットワークによるBi-Lipschitzマップの近似について
• Authors: Bangti Jin and Zehui Zhou and Jun Zou
• Abstract要約: Invertible Neural Network(INN)は、ディープニューラルネットワークアーキテクチャの重要なクラスである。 コンパクト領域上でのバイリプシッツ連続写像を近似するために,結合型 INN のクラスが持つキャパシティを解析する。 我々は、前方と逆写像を同時に近似する無限次元空間上の双Lipschitz写像を近似するアプローチを開発する。
• 参考スコア（独自算出の注目度）: 3.7072693116122752
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Invertible neural networks (INNs) represent an important class of deep neural network architectures that have been widely used in several applications. The universal approximation properties of INNs have also been established recently. However, the approximation rate of INNs is largely missing. In this work, we provide an analysis of the capacity of a class of coupling-based INNs to approximate bi-Lipschitz continuous mappings on a compact domain, and the result shows that it can well approximate both forward and inverse maps simultaneously. Furthermore, we develop an approach for approximating bi-Lipschitz maps on infinite-dimensional spaces that simultaneously approximate the forward and inverse maps, by combining model reduction with principal component analysis and INNs for approximating the reduced map, and we analyze the overall approximation error of the approach. Preliminary numerical results show the feasibility of the approach for approximating the solution operator for parameterized second-order elliptic problems.
• Abstract（参考訳）: Invertible Neural Network(INN)は、いくつかのアプリケーションで広く使われているディープニューラルネットワークアーキテクチャの重要なクラスである。 INNの普遍近似特性も最近確立されている。 しかし、INNの近似速度はほとんど欠落している。 本研究では,コンパクト領域上でのバイリプシッツ連続写像を近似するために,結合型 INN のクラスが持つキャパシティの解析を行い,この結果から,前方および逆写像を同時に近似できることを示す。 さらに, モデル削減と主成分分析, INNを組み合わせることで, 無限次元空間上でのバイリプシッツ写像の近似を行い, その近似誤差を解析する手法を開発した。 予備的な数値計算の結果は、パラメータ化二階楕円問題に対する解演算子近似法の可能性を示している。

関連論文リスト

• Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• Learning Traveling Solitary Waves Using Separable Gaussian Neural Networks [0.9065034043031668]
  偏微分方程式(PDE)の様々なファミリをまたいだ走行する孤立波の学習に機械学習アプローチを適用する。 我々のアプローチは、新しい解釈可能なニューラルネットワーク(NN)アーキテクチャを物理情報ニューラルネットワーク(PINN)の枠組みに統合する。
  論文  参考訳（メタデータ） (2024-03-07T20:16:18Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Input Convex Gradient Networks [7.747759814657507]
  ニューラルネットワークによりパラメータ化されたヤコビアンベクトル積を統合することにより凸勾配をモデル化する方法を検討する。 我々は,単一層ICGNが単一層ICNNよりもおもちゃの例に適合できることを実証的に実証した。
  論文  参考訳（メタデータ） (2021-11-23T22:51:25Z)
• Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces [5.863264019032882]
  関数の近似化や積分に基づく(決定的あるいはランダム化)アルゴリズムの計算複雑性について検討する。 この分野における最も重要な問題の1つは、理論的に証明可能なニューラルネットワーク近似率を実現できるかどうかという問題である。
  論文  参考訳（メタデータ） (2021-04-06T18:55:20Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。