論文の概要: Partition of unity networks: deep hp-approximation

• arxiv url: http://arxiv.org/abs/2101.11256v1
• Date: Wed, 27 Jan 2021 08:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 19:12:04.725849
• Title: Partition of unity networks: deep hp-approximation
• Title（参考訳）: 統一ネットワークの分割:深いhp近似
• Authors: Kookjin Lee, Nathaniel A. Trask, Ravi G. Patel, Mamikon A. Gulian, Eric C. Cyr
• Abstract要約: 本稿では,これらの要素を直接アーキテクチャに組み込む統一ネットワーク(POUnets)の分割を提案する。 POUnets は滑らかな関数に対して hp-収束をもたらし、多くの不連続性を持つピースワイズ関数を一貫して上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximation theorists have established best-in-class optimal approximation rates of deep neural networks by utilizing their ability to simultaneously emulate partitions of unity and monomials. Motivated by this, we propose partition of unity networks (POUnets) which incorporate these elements directly into the architecture. Classification architectures of the type used to learn probability measures are used to build a meshfree partition of space, while polynomial spaces with learnable coefficients are associated to each partition. The resulting hp-element-like approximation allows use of a fast least-squares optimizer, and the resulting architecture size need not scale exponentially with spatial dimension, breaking the curse of dimensionality. An abstract approximation result establishes desirable properties to guide network design. Numerical results for two choices of architecture demonstrate that POUnets yield hp-convergence for smooth functions and consistently outperform MLPs for piecewise polynomial functions with large numbers of discontinuities.
• Abstract（参考訳）: 近似理論者は、単位と単項の分割を同時にエミュレートする能力を利用して、ディープニューラルネットワークのクラス最高の最適近似速度を確立しました。 そこで我々は,これらの要素を直接アーキテクチャに組み込む統一ネットワーク(POUnets)の分割を提案する。 確率測度を学習するために使用されるタイプの分類アーキテクチャは、空間のメッシュフリー分割を構築するのに使用され、学習可能な係数を持つ多項式空間は各分割に関連付けられる。 結果として生じるhp要素のような近似は、最短二乗最適化器の使用を可能にし、その結果生じるアーキテクチャサイズは空間次元と指数関数的にスケールする必要はなく、次元の呪いを破る。 抽象近似結果は、ネットワーク設計をガイドする望ましい特性を確立する。 2つのアーキテクチャの選択に関する数値的な結果から、POUnets は滑らかな関数に対して hp 収束し、不連続な多数の多項式関数に対して一貫して MLP を上回ります。

関連論文リスト

• Partially Stochastic Infinitely Deep Bayesian Neural Networks [0.0]
  無限深層ニューラルネットワークの枠組みに部分性を統合する新しいアーキテクチャ群を提案する。 完全性の利点を含む無限深度極限における部分性の利点を利用する。 ネットワーク設計における柔軟性を提供する、さまざまなアーキテクチャ構成を提示します。
  論文  参考訳（メタデータ） (2024-02-05T20:15:19Z)
• Functional SDE approximation inspired by a deep operator network architecture [0.0]
  ディープニューラルネットワークによる微分方程式(SDE)の近似解の導出と解析を行う。 このアーキテクチャはDeep Operator Networks(DeepONets)の概念にインスパイアされたもので、ネットワークに表される基盤の削減という観点からの演算子学習に基づいている。 提案したSDEONetアーキテクチャは,Wienerカオス拡張の最適スパース切り込みを学習することにより,指数複雑性の問題を緩和することを目的としている。
  論文  参考訳（メタデータ） (2024-02-05T14:12:35Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Poly-NL: Linear Complexity Non-local Layers with Polynomials [76.21832434001759]
  性能を損なわずに2次から線形に複雑性を低減できる新しい高速非局所ブロックを定式化する。 The proposed method, we dub that "Poly-NL" is competitive to state-of-the-art performance across image recognition, instance segmentation, and face detection task。
  論文  参考訳（メタデータ） (2021-07-06T19:51:37Z)
• Partition-based formulations for mixed-integer optimization of trained ReLU neural networks [66.88252321870085]
  本稿では,訓練されたReLUニューラルネットワークのための混合整数式について紹介する。 1つの極端な場合、入力毎に1つのパーティションがノードの凸殻、すなわち各ノードの最も厳密な可能な定式化を回復する。
  論文  参考訳（メタデータ） (2021-02-08T17:27:34Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。