論文の概要: Probabilistic partition of unity networks for high-dimensional regression problems

• arxiv url: http://arxiv.org/abs/2210.02694v2
• Date: Sun, 11 Jun 2023 06:16:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 02:29:53.163466
• Title: Probabilistic partition of unity networks for high-dimensional regression problems
• Title（参考訳）: 高次元回帰問題に対するユニタリネットワークの確率的分割
• Authors: Tiffany Fan, Nathaniel Trask, Marta D'Elia, Eric Darve
• Abstract要約: 我々は高次元回帰問題におけるユニタリネットワーク(PPOU-Net)モデルの分割について検討する。 本稿では適応次元の減少に着目した一般的な枠組みを提案する。 PPOU-Netsは、数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 1.0227479910430863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the probabilistic partition of unity network (PPOU-Net) model in the context of high-dimensional regression problems and propose a general framework focusing on adaptive dimensionality reduction. With the proposed framework, the target function is approximated by a mixture of experts model on a low-dimensional manifold, where each cluster is associated with a local fixed-degree polynomial. We present a training strategy that leverages the expectation maximization (EM) algorithm. During the training, we alternate between (i) applying gradient descent to update the DNN coefficients; and (ii) using closed-form formulae derived from the EM algorithm to update the mixture of experts model parameters. Under the probabilistic formulation, step (ii) admits the form of embarrassingly parallelizable weighted least-squares solves. The PPOU-Nets consistently outperform the baseline fully-connected neural networks of comparable sizes in numerical experiments of various data dimensions. We also explore the proposed model in applications of quantum computing, where the PPOU-Nets act as surrogate models for cost landscapes associated with variational quantum circuits.
• Abstract（参考訳）: 本研究では,高次元回帰問題の文脈におけるユニタリネットワーク(PPOU-Net)モデルの確率的分割について検討し,適応次元の減少に着目した一般的な枠組みを提案する。 提案したフレームワークでは,各クラスタが局所的な固定度多項式に関連付けられている低次元多様体上のエキスパートモデルの混合により,対象関数を近似する。 本稿では,予測最大化(EM)アルゴリズムを活用するトレーニング戦略を提案する。 トレーニング中、私たちは交互に i) DNN係数を更新するために勾配降下を適用すること (II) EMアルゴリズムから得られる閉形式公式を用いて, エキスパートモデルパラメータの混合を更新する。 確率的定式化の下では (ii) は、恥ずかしく並列化可能な最小二乗解の形式を認める。 PPOU-Netsは、様々なデータ次元の数値実験において、同等の大きさのベースライン完全接続ニューラルネットワークを一貫して上回っている。 また、PPOU-Netが変動量子回路に関連するコストランドスケープの代理モデルとして機能する量子コンピューティングの応用における提案モデルについても検討する。

関連論文リスト

• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Deep Learning-based surrogate models for parametrized PDEs: handling geometric variability through graph neural networks [0.0]
  本研究では,時間依存型PDEシミュレーションにおけるグラフニューラルネットワーク(GNN)の可能性について検討する。 本稿では,データ駆動型タイムステッピング方式に基づくサロゲートモデルを構築するための体系的戦略を提案する。 GNNは,計算効率と新たなシナリオへの一般化の観点から,従来の代理モデルに代わる有効な代替手段を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-08-03T08:14:28Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Neural Mixture Distributional Regression [0.9023847175654603]
  フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。 我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
  論文  参考訳（メタデータ） (2020-10-14T09:00:16Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Model Reduction and Neural Networks for Parametric PDEs [9.405458160620533]
  無限次元空間間の入出力マップをデータ駆動で近似するフレームワークを開発した。 提案されたアプローチは、最近のニューラルネットワークとディープラーニングの成功に動機づけられている。 入力出力マップのクラスと、入力に対する適切な選択された確率測度について、提案手法の収束性を証明する。
  論文  参考訳（メタデータ） (2020-05-07T00:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。