論文の概要: Universal approximation property of invertible neural networks

• arxiv url: http://arxiv.org/abs/2204.07415v1
• Date: Fri, 15 Apr 2022 10:45:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 15:29:12.990234
• Title: Universal approximation property of invertible neural networks
• Title（参考訳）: 可逆ニューラルネットワークの普遍近似特性
• Authors: Isao Ishikawa, Takeshi Teshima, Koichi Tojo, Kenta Oono, Masahiro Ikeda, Masashi Sugiyama
• Abstract要約: Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
• 参考スコア（独自算出の注目度）: 76.95927093274392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Invertible neural networks (INNs) are neural network architectures with invertibility by design. Thanks to their invertibility and the tractability of Jacobian, INNs have various machine learning applications such as probabilistic modeling, generative modeling, and representation learning. However, their attractive properties often come at the cost of restricting the layer designs, which poses a question on their representation power: can we use these models to approximate sufficiently diverse functions? To answer this question, we have developed a general theoretical framework to investigate the representation power of INNs, building on a structure theorem of differential geometry. The framework simplifies the approximation problem of diffeomorphisms, which enables us to show the universal approximation properties of INNs. We apply the framework to two representative classes of INNs, namely Coupling-Flow-based INNs (CF-INNs) and Neural Ordinary Differential Equations (NODEs), and elucidate their high representation power despite the restrictions on their architectures.
• Abstract（参考訳）: invertible neural network (inn) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。 しかし、それらの魅力的な性質は、しばしば層の設計を制限するコストがかかるため、それらの表現力に疑問を呈する:これらのモデルを使って十分に多様な関数を近似できるだろうか? そこで我々は, 微分幾何学の構造定理に基づいて, INNの表現力に関する一般的な理論的枠組みを開発した。 このフレームワークは微分同相写像の近似問題を単純化し、innの普遍近似性を示すことができる。 INNの代表クラスであるCF-INN(Coupling-Flow-based INN)とNeural Ordinary Differential Equations(Neural Ordinary Differential Equations)にこのフレームワークを適用し,アーキテクチャの制約にもかかわらず高い表現力を実現する。

関連論文リスト

• E(n) Equivariant Topological Neural Networks [10.603892843083173]
  グラフニューラルネットワークはペアインタラクションのモデリングに優れていますが、高階インタラクションや機能に柔軟に対応できません。 トポロジカルディープラーニング(TDL)がこの問題に対処するための有望なツールとして最近登場した。 本稿では,E(n)-同変トポロジカルニューラルネットワーク(ETNN)を紹介する。 ETNNは回転、反射、翻訳を尊重しながら幾何学的ノードの特徴を取り入れている。
  論文  参考訳（メタデータ） (2024-05-24T10:55:38Z)
• An Algorithm to Train Unrestricted Sequential Discrete Morphological Neural Networks [0.0]
  本稿では,一般W-演算子の構成によりアーキテクチャが与えられる非制限順序DMNNを学習するアルゴリズムを提案する。 このアルゴリズムを実例で説明する。
  論文  参考訳（メタデータ） (2023-10-06T20:55:05Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Simplicial Attention Networks [4.401427499962144]
  SNN(Simplicial Neural Networks)は、simplicial Complex上でメッセージパッシングを実行することによって、自然な相互作用をモデル化する。 Simplicial Attention Networks (SAT) は,近隣のsimplicial間の相互作用を動的に重み付けする,新しいタイプのsimplicial Networks を提案する。 SATは、既存の畳み込みSNNとGNNを2つの画像および軌跡分類タスクで上回ることを示す。
  論文  参考訳（メタデータ） (2022-04-20T13:41:50Z)
• Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
  我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。 この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。 本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-11-17T03:37:06Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。