論文の概要: Level set learning with pseudo-reversible neural networks for nonlinear
dimension reduction in function approximation
- arxiv url: http://arxiv.org/abs/2112.01438v1
- Date: Thu, 2 Dec 2021 17:25:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-03 17:28:44.973176
- Title: Level set learning with pseudo-reversible neural networks for nonlinear
dimension reduction in function approximation
- Title（参考訳）: 疑似可逆ニューラルネットワークを用いた関数近似における非線形次元低減のためのレベルセット学習
- Authors: Yuankai Teng, Zhu Wang, Lili Ju, Anthony Gruber, Guannan Zhang
- Abstract要約: 本稿では,関数近似のための学習レベルセット(DRiLLS)を用いた次元削減手法を提案する。
提案手法は,高次元の入力変数を高次元のアクティブ変数に効果的に変換する擬似可逆ニューラルネットワーク(PRNN)モジュールである。
PRNNは、RevNetの使用によりNLL法に存在する非線形変換の可逆性制約を緩和するだけでなく、各サンプルの影響を適応的に重み付けし、学習された能動変数に対する関数の感度を制御する。
- 参考スコア（独自算出の注目度）: 8.28646586439284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the curse of dimensionality and the limitation on training data,
approximating high-dimensional functions is a very challenging task even for
powerful deep neural networks. Inspired by the Nonlinear Level set Learning
(NLL) method that uses the reversible residual network (RevNet), in this paper
we propose a new method of Dimension Reduction via Learning Level Sets (DRiLLS)
for function approximation. Our method contains two major components: one is
the pseudo-reversible neural network (PRNN) module that effectively transforms
high-dimensional input variables to low-dimensional active variables, and the
other is the synthesized regression module for approximating function values
based on the transformed data in the low-dimensional space. The PRNN not only
relaxes the invertibility constraint of the nonlinear transformation present in
the NLL method due to the use of RevNet, but also adaptively weights the
influence of each sample and controls the sensitivity of the function to the
learned active variables. The synthesized regression uses Euclidean distance in
the input space to select neighboring samples, whose projections on the space
of active variables are used to perform local least-squares polynomial fitting.
This helps to resolve numerical oscillation issues present in traditional local
and global regressions. Extensive experimental results demonstrate that our
DRiLLS method outperforms both the NLL and Active Subspace methods, especially
when the target function possesses critical points in the interior of its input
domain.
- Abstract（参考訳）: 次元性の呪いとトレーニングデータの制限のため、強力なディープニューラルネットワークでさえ、高次元関数の近似は非常に難しい作業である。
本稿では,可逆残差ネットワーク(RevNet)を用いた非線形レベルセット学習(NLL)法に着想を得て,関数近似のための学習レベルセット(DRiLLS)を用いた次元削減法を提案する。
提案手法は,高次元入力変数を低次元アクティブ変数に効果的に変換する疑似可逆ニューラルネットワーク(prnn)モジュールと,低次元空間における変換データに基づく関数値近似のための合成回帰モジュールの2つの主成分を含む。
PRNNは、RevNetの使用によりNLL法に存在する非線形変換の可逆性制約を緩和するだけでなく、各サンプルの影響を適応的に重み付けし、学習された能動変数に対する関数の感度を制御する。
合成回帰は入力空間内のユークリッド距離を使って隣接するサンプルを選び、アクティブ変数の空間上の射影を用いて局所最小二乗多項式のフィッティングを行う。
これは、従来の局所回帰や大域回帰における数値振動問題の解決に役立つ。
我々のDRiLLS法はNLL法とActive Subspace法の両方より優れており、特にターゲット関数が入力領域の内部に臨界点を持つ場合である。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Nonlinear functional regression by functional deep neural network with
kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。
機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。
スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文 参考訳（メタデータ） (2024-01-05T16:43:39Z) - Using Linear Regression for Iteratively Training Neural Networks [4.873362301533824]
ニューラルネットワークの重みとバイアスを学習するための単純な線形回帰に基づくアプローチを提案する。
このアプローチは、より大きく、より複雑なアーキテクチャに向けられている。
論文 参考訳（メタデータ） (2023-07-11T11:53:25Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。
この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
論文 参考訳（メタデータ） (2022-12-25T15:40:05Z) - Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。
サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。
この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
論文 参考訳（メタデータ） (2022-03-22T13:09:17Z) - Nonlinear Level Set Learning for Function Approximation on Sparse Data
with Applications to Parametric Differential Equations [6.184270985214254]
NLL(Nonlinear Level Set Learning)アプローチは、疎にサンプリングされた関数のポイントワイズ予測のために提示される。
提案アルゴリズムは, 精度の低い理論的下界への入力次元を効果的に低減する。
この修正されたNLLとオリジナルのNLLとActive Subspaces(AS)メソッドを比較する実験とアプリケーションを提示する。
論文 参考訳（メタデータ） (2021-04-29T01:54:05Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。