論文の概要: Fréchet Cumulative Covariance Net for Deep Nonlinear Sufficient Dimension Reduction with Random Objects

• arxiv url: http://arxiv.org/abs/2502.15374v1
• Date: Fri, 21 Feb 2025 10:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:01.812540
• Title: Fréchet Cumulative Covariance Net for Deep Nonlinear Sufficient Dimension Reduction with Random Objects
• Title（参考訳）: ランダム物体を用いた非線形十分次元削減のためのフレシェ累積共分散ネット
• Authors: Hang Yuan, Christina Dan Wang, Zhou Yu,
• Abstract要約: Fr'echet Cumulative Covariance (FCCov) と呼ばれる新しい統計依存度尺度を導入し、FCCovに基づく新しい非線形SDRフレームワークを開発する。 我々のアプローチは複雑な非ユークリッドデータに適用できるだけでなく、外れ値に対する堅牢性も示している。 正方形フロベニウスノルム正規化の手法は、$sigma$-fieldレベルで不偏性を達成することを証明している。
• 参考スコア（独自算出の注目度）: 22.156257535146004
• License:
• Abstract: Nonlinear sufficient dimension reduction\citep{libing_generalSDR}, which constructs nonlinear low-dimensional representations to summarize essential features of high-dimensional data, is an important branch of representation learning. However, most existing methods are not applicable when the response variables are complex non-Euclidean random objects, which are frequently encountered in many recent statistical applications. In this paper, we introduce a new statistical dependence measure termed Fr\'echet Cumulative Covariance (FCCov) and develop a novel nonlinear SDR framework based on FCCov. Our approach is not only applicable to complex non-Euclidean data, but also exhibits robustness against outliers. We further incorporate Feedforward Neural Networks (FNNs) and Convolutional Neural Networks (CNNs) to estimate nonlinear sufficient directions in the sample level. Theoretically, we prove that our method with squared Frobenius norm regularization achieves unbiasedness at the $\sigma$-field level. Furthermore, we establish non-asymptotic convergence rates for our estimators based on FNNs and ResNet-type CNNs, which match the minimax rate of nonparametric regression up to logarithmic factors. Intensive simulation studies verify the performance of our methods in both Euclidean and non-Euclidean settings. We apply our method to facial expression recognition datasets and the results underscore more realistic and broader applicability of our proposal.
• Abstract（参考訳）: 高次元データの本質的な特徴を要約するために非線形低次元表現を構成する非線形十分次元還元\citep{libing_ GeneralSDR}は、表現学習の重要な分野である。 しかし、応答変数が複雑な非ユークリッド乱数オブジェクトである場合、ほとんどの既存手法は適用できない。 本稿では,Fr'echet Cumulative Covariance (FCCov) と呼ばれる新しい統計的依存尺度を導入し,FCCovに基づく新しい非線形SDRフレームワークを開発する。 我々のアプローチは複雑な非ユークリッドデータに適用できるだけでなく、外れ値に対する堅牢性も示している。 さらに、フィードフォワードニューラルネットワーク(FNN)と畳み込みニューラルネットワーク(CNN)を統合し、サンプルレベルの非線形な十分な方向を推定する。 理論的には、二乗フロベニウスノルム正規化の手法が$\sigma$-fieldレベルで不偏性を達成することを証明している。 さらに、FNNとResNet型CNNに基づく推定器の非漸近収束率を確立し、非パラメトリック回帰の最小値と対数係数とを一致させる。 集中的なシミュレーション研究は、ユークリッドと非ユークリッドの両方の設定において、我々の手法の性能を検証する。 提案手法を表情認識データセットに適用し,提案手法のより現実的で広範な適用性を示す。

関連論文リスト

• Deep Fréchet Regression [4.915744683251151]
  パラメトリックな仮定を課さずに高次元予測器を扱えるフレキシブル回帰モデルを提案する。 提案手法は,非ユークリッド応答に対する既存手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-31T07:54:14Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Single-model uncertainty quantification in neural network potentials does not consistently outperform model ensembles [0.7499722271664145]
  ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。 不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。 異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
  論文  参考訳（メタデータ） (2023-05-02T19:41:17Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Adaptive deep learning for nonlinear time series models [0.0]
  我々は、ディープニューラルネットワーク(DNN)を用いた非定常および非線形時系列モデルの平均関数の適応的非パラメトリック推定の理論を開発する。 我々は、幅広い非線形自己回帰(AR)モデルに属する平均関数を推定するために、ミニマックス下限を導出する。
  論文  参考訳（メタデータ） (2022-07-06T09:58:58Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Concentration of Non-Isotropic Random Tensors with Applications to Learning and Empirical Risk Minimization [13.572602792770292]
  ディメンジョンは、最適化手法がデータのサイズに悩まされる現代の学習タスクに固有のボトルネックである。 環境よりも有効次元に依存して、これらの次元コストを削減するツールを開発する。 本稿では, 学習問題における非等方性特性の活用の重要性について述べる。
  論文  参考訳（メタデータ） (2021-02-04T17:13:03Z)
• Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
  本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。 合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-26T11:31:08Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Nonconvex sparse regularization for deep neural networks and its optimality [1.9798034349981162]
  ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。 スパースDNNに対する新たなペナル化推定法を提案する。 スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
  論文  参考訳（メタデータ） (2020-03-26T07:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。