論文の概要: Nonlinear Sufficient Dimension Reduction with a Stochastic Neural Network

• arxiv url: http://arxiv.org/abs/2210.04349v1
• Date: Sun, 9 Oct 2022 20:56:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 15:26:10.036322
• Title: Nonlinear Sufficient Dimension Reduction with a Stochastic Neural Network
• Title（参考訳）: 確率的ニューラルネットワークによる非線形十分次元削減
• Authors: Siqi Liang, Yan Sun, Faming Liang
• Abstract要約: 本稿では,大規模データに対する十分な次元削減のための新しいタイプのニューラルネットワークを提案する。 提案したニューラルネットワークは、適応的勾配勾配連鎖モンテカルロアルゴリズムを用いて訓練される。 提案手法は,既存の最先端の十分次元削減手法と良好に比較できることを示す。
• 参考スコア（独自算出の注目度）: 9.173528450234906
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sufficient dimension reduction is a powerful tool to extract core information hidden in the high-dimensional data and has potentially many important applications in machine learning tasks. However, the existing nonlinear sufficient dimension reduction methods often lack the scalability necessary for dealing with large-scale data. We propose a new type of stochastic neural network under a rigorous probabilistic framework and show that it can be used for sufficient dimension reduction for large-scale data. The proposed stochastic neural network is trained using an adaptive stochastic gradient Markov chain Monte Carlo algorithm, whose convergence is rigorously studied in the paper as well. Through extensive experiments on real-world classification and regression problems, we show that the proposed method compares favorably with the existing state-of-the-art sufficient dimension reduction methods and is computationally more efficient for large-scale data.
• Abstract（参考訳）: 十分な次元削減は、高次元データに隠されたコア情報を抽出する強力なツールであり、機械学習タスクにおいて潜在的に多くの重要な応用がある。 しかし、既存の非線形十分次元縮小法は、大規模データを扱うのに必要なスケーラビリティを欠くことが多い。 本稿では,厳密な確率的枠組みに基づく新しいタイプの確率的ニューラルネットワークを提案する。 提案する確率的ニューラルネットワークは適応的確率的勾配マルコフ連鎖モンテカルロアルゴリズムを用いて訓練される。 実世界の分類と回帰問題に関する広範囲な実験を通じて,提案手法は既存の十分次元化手法と好適な比較を行い,大規模データに対して計算効率が高いことを示す。

関連論文リスト

• Golden Ratio-Based Sufficient Dimension Reduction [6.184279198087624]
  本稿では,ニューラルネットワークを用いた十分次元削減手法を提案する。 構造次元を効果的に特定し、中心空間をうまく推定する。 これは、バロンクラスの関数に対するニューラルネットワークの近似能力の利点を生かし、計算コストの削減につながる。
  論文  参考訳（メタデータ） (2024-10-25T04:15:15Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• MMGP: a Mesh Morphing Gaussian Process-based machine learning method for regression of physical problems under non-parameterized geometrical variability [0.30693357740321775]
  本稿では,グラフニューラルネットワークに依存しない機械学習手法を提案する。 提案手法は, 明示的な形状パラメータ化を必要とせずに, 大きなメッシュを容易に扱うことができる。
  論文  参考訳（メタデータ） (2023-05-22T09:50:15Z)
• Information bottleneck theory of high-dimensional regression: relevancy, efficiency and optimality [6.700873164609009]
  オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。 トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
  論文  参考訳（メタデータ） (2022-08-08T00:09:12Z)
• Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
  本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。 提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
  論文  参考訳（メタデータ） (2022-04-23T02:45:55Z)
• Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms and Theoretical Studies [1.6457778420360534]
  任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。 通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。 得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
  論文  参考訳（メタデータ） (2021-12-15T20:35:21Z)
• Deep Efficient Continuous Manifold Learning for Time Series Modeling [11.876985348588477]
  対称正定値行列はコンピュータビジョン、信号処理、医療画像解析において研究されている。 本稿では,リーマン多様体とコレスキー空間の間の微分同相写像を利用する枠組みを提案する。 時系列データの動的モデリングのために,多様体常微分方程式とゲートリカレントニューラルネットワークを体系的に統合した連続多様体学習法を提案する。
  論文  参考訳（メタデータ） (2021-12-03T01:38:38Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。