論文の概要: Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction

• arxiv url: http://arxiv.org/abs/2412.08961v1
• Date: Thu, 12 Dec 2024 05:48:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:30.395185
• Title: Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction
• Title（参考訳）: 線形・非線形充足次元削減のためのベルト・アンサンブルニューラルネットワーク
• Authors: Yin Tang, Bing Li,
• Abstract要約: 十分な次元削減のための統一的でフレキシブルで実装が容易なフレームワークを導入します。 このフレームワークは、特別に構造化されたニューラルネットワークによって実現される。 ニューラルネットワークの利点により、この手法は非常に高速に計算できる。
• 参考スコア（独自算出の注目度）: 5.024172766626326
• License:
• Abstract: We introduce a unified, flexible, and easy-to-implement framework of sufficient dimension reduction that can accommodate both linear and nonlinear dimension reduction, and both the conditional distribution and the conditional mean as the targets of estimation. This unified framework is achieved by a specially structured neural network -- the Belted and Ensembled Neural Network (BENN) -- that consists of a narrow latent layer, which we call the belt, and a family of transformations of the response, which we call the ensemble. By strategically placing the belt at different layers of the neural network, we can achieve linear or nonlinear sufficient dimension reduction, and by choosing the appropriate transformation families, we can achieve dimension reduction for the conditional distribution or the conditional mean. Moreover, thanks to the advantage of the neural network, the method is very fast to compute, overcoming a computation bottleneck of the traditional sufficient dimension reduction estimators, which involves the inversion of a matrix of dimension either p or n. We develop the algorithm and convergence rate of our method, compare it with existing sufficient dimension reduction methods, and apply it to two data examples.
• Abstract（参考訳）: 本稿では, 線形次元と非線形次元の縮減と, 条件分布と条件平均の両方を推定対象とする, 十分な次元の縮減の統一的, 柔軟で, 実装が容易なフレームワークを提案する。 この統合されたフレームワークは、特別に構築されたニューラルネットワーク -- Belted and Ensembled Neural Network (BENN) -- によって実現されている。 ニューラルネットワークの異なる層にベルトを戦略的に配置することにより、線形あるいは非線形に十分な次元の減少を達成することができ、適切な変換列を選択することで、条件分布や条件平均の次元の減少を達成することができる。 さらに、ニューラルネットワークの利点により、従来の十分次元削減推定器の計算ボトルネックを克服し、pまたはnの次元行列の逆転を含む計算が極めて高速である。 提案手法のアルゴリズムと収束率を開発し、既存の十分次元削減法と比較し、2つのデータ例に適用する。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Golden Ratio-Based Sufficient Dimension Reduction [6.184279198087624]
  本稿では,ニューラルネットワークを用いた十分次元削減手法を提案する。 構造次元を効果的に特定し、中心空間をうまく推定する。 これは、バロンクラスの関数に対するニューラルネットワークの近似能力の利点を生かし、計算コストの削減につながる。
  論文  参考訳（メタデータ） (2024-10-25T04:15:15Z)
• Cons-training tensor networks [2.8834278113855896]
  テンソルネットワークと呼ばれる新しいファミリーを導入する。 textitconstrained matrix product state (MPS) これらのネットワークは、不等式を含むちょうど任意の離散線型制約をスパースブロック構造に含んでいる。 これらのネットワークは、特に、可能空間上で厳密にサポートされた分散をモデル化するために調整されている。
  論文  参考訳（メタデータ） (2024-05-15T00:13:18Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Training Recurrent Neural Networks by Sequential Least Squares and the Alternating Direction Method of Multipliers [0.20305676256390928]
  本稿では、最適隠れネットワークパラメータを決定するために凸と2倍の差分損失と正規化項を用いることを提案する。 逐次最小二乗と交互方向乗算器を組み合わせる。 このアルゴリズムの性能は非線形システム同定ベンチマークで検証される。
  論文  参考訳（メタデータ） (2021-12-31T08:43:04Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• AdaLoss: A computationally-efficient and provably convergent adaptive gradient method [7.856998585396422]
  本稿では,損失関数の情報を用いて数値的な調整を行う,計算に親しみやすい学習スケジュール"AnomidaLoss"を提案する。 テキストおよび制御問題に対するLSTMモデルの適用による数値実験の範囲の検証を行う。
  論文  参考訳（メタデータ） (2021-09-17T01:45:25Z)
• Improving Metric Dimensionality Reduction with Distributed Topology [68.8204255655161]
  DIPOLEは、局所的、計量的項と大域的、位相的項の両方で損失関数を最小化し、初期埋め込みを補正する次元推論後処理ステップである。 DIPOLEは、UMAP、t-SNE、Isomapといった一般的な手法よりも多くの一般的なデータセットで優れています。
  論文  参考訳（メタデータ） (2021-06-14T17:19:44Z)
• Joint Dimensionality Reduction for Separable Embedding Estimation [43.22422640265388]
  異なるソースからのデータの低次元埋め込みは、機械学習、マルチメディア情報検索、バイオインフォマティクスにおいて重要な役割を果たす。 異なるモダリティのデータや異なる種類の実体からのデータを表す2つの特徴ベクトルに対して,線形埋め込みを共同で学習する,教師付き次元還元法を提案する。 提案手法は,他の次元減少法と比較し,遺伝子・退化関連を予測するための両線形回帰の最先端手法と比較した。
  論文  参考訳（メタデータ） (2021-01-14T08:48:37Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。