論文の概要: Deep Dimension Reduction for Supervised Representation Learning
- arxiv url: http://arxiv.org/abs/2006.05865v3
- Date: Thu, 1 Sep 2022 04:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 04:40:42.021573
- Title: Deep Dimension Reduction for Supervised Representation Learning
- Title（参考訳）: 教師付き表現学習のための深度低減
- Authors: Jian Huang, Yuling Jiao, Xu Liao, Jin Liu, Zhou Yu
- Abstract要約: 本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
- 参考スコア（独自算出の注目度）: 51.10448064423656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of supervised representation learning is to construct effective data
representations for prediction. Among all the characteristics of an ideal
nonparametric representation of high-dimensional complex data, sufficiency, low
dimensionality and disentanglement are some of the most essential ones. We
propose a deep dimension reduction approach to learning representations with
these characteristics. The proposed approach is a nonparametric generalization
of the sufficient dimension reduction method. We formulate the ideal
representation learning task as that of finding a nonparametric representation
that minimizes an objective function characterizing conditional independence
and promoting disentanglement at the population level. We then estimate the
target representation at the sample level nonparametrically using deep neural
networks. We show that the estimated deep nonparametric representation is
consistent in the sense that its excess risk converges to zero. Our extensive
numerical experiments using simulated and real benchmark data demonstrate that
the proposed methods have better performance than several existing dimension
reduction methods and the standard deep learning models in the context of
classification and regression.
- Abstract（参考訳）: 教師付き表現学習の目的は、予測のための効果的なデータ表現を構築することである。
高次元複素データの理想的な非パラメトリック表現のすべての特徴の中で、十分性、低次元性、および非絡み合いが最も不可欠である。
これらの特徴を持つ表現を学習するための深次元化手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
我々は、条件付き独立性を特徴付ける目的関数を最小化し、人口レベルでの混乱を促進する非パラメトリック表現を見つけるための理想表現学習タスクを定式化する。
次に、ディープニューラルネットワークを用いて非パラメトリックなサンプルレベルでターゲット表現を推定する。
推定された深い非パラメトリック表現は、その過剰なリスクがゼロに収束するという意味で一貫していることを示す。
シミュレーションおよび実際のベンチマークデータを用いた広範囲な数値実験により,提案手法は,既存の次元縮小法や標準ディープラーニングモデルよりも,分類と回帰の文脈で優れた性能を示す。
関連論文リスト
- On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。
我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
論文 参考訳（メタデータ） (2024-10-11T18:02:46Z) - A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳（メタデータ） (2024-06-06T01:52:09Z) - A Slices Perspective for Incremental Nonparametric Inference in High Dimensional State Spaces [25.16567521220103]
本研究では,高次元状態空間における漸進的非パラメトリック確率推定法を提案する。
提案手法は高次元表面のスライスを利用して任意の形状の後方分布を効率的に近似する。
論文 参考訳（メタデータ） (2024-05-26T06:52:56Z) - Nonparametric Linear Feature Learning in Regression Through Regularisation [0.0]
連立線形特徴学習と非パラメトリック関数推定のための新しい手法を提案する。
代替最小化を用いることで、データを反復的に回転させ、先頭方向との整合性を改善する。
提案手法の予測リスクは,最小限の仮定と明示的なレートで最小限のリスクに収束することを確認した。
論文 参考訳（メタデータ） (2023-07-24T12:52:55Z) - An evaluation framework for dimensionality reduction through sectional
curvature [59.40521061783166]
本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。
その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。
新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
論文 参考訳（メタデータ） (2023-03-17T11:59:33Z) - Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data
Visualization [20.43471678277403]
本稿では t-SNE に基づく新しいグラフベース次元削減手法 LaptSNE を提案する。
具体的には、LaptSNEはグラフラプラシアンの固有値情報を利用して、低次元埋め込みにおけるポテンシャルクラスタを縮小する。
ラプラシアン合成目的による最適化を考える際には、より広い関心を持つであろう勾配を解析的に計算する方法を示す。
論文 参考訳（メタデータ） (2022-07-25T14:10:24Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty [15.781915567005251]
本稿では,表現学習と不確実性定量化のための新しい代理モデルを提案する。
提案モデルでは、(潜在的に高次元の)データの次元的低減のためのニューラルネットワークアプローチと、データ分布を学習するための代理モデル手法を組み合わせる。
我々のモデルは,データの表現を学習し,(a)高次元データシステムにおける不確実性を推定し,(c)出力分布の高次モーメントを一致させることができる。
論文 参考訳（メタデータ） (2022-02-10T14:42:51Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳（メタデータ） (2020-09-15T22:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。