論文の概要: Deep Dimension Reduction for Supervised Representation Learning
- arxiv url: http://arxiv.org/abs/2006.05865v3
- Date: Thu, 1 Sep 2022 04:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 04:40:42.021573
- Title: Deep Dimension Reduction for Supervised Representation Learning
- Title(参考訳): 教師付き表現学習のための深度低減
- Authors: Jian Huang, Yuling Jiao, Xu Liao, Jin Liu, Zhou Yu
- Abstract要約: 本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
- 参考スコア(独自算出の注目度): 51.10448064423656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of supervised representation learning is to construct effective data
representations for prediction. Among all the characteristics of an ideal
nonparametric representation of high-dimensional complex data, sufficiency, low
dimensionality and disentanglement are some of the most essential ones. We
propose a deep dimension reduction approach to learning representations with
these characteristics. The proposed approach is a nonparametric generalization
of the sufficient dimension reduction method. We formulate the ideal
representation learning task as that of finding a nonparametric representation
that minimizes an objective function characterizing conditional independence
and promoting disentanglement at the population level. We then estimate the
target representation at the sample level nonparametrically using deep neural
networks. We show that the estimated deep nonparametric representation is
consistent in the sense that its excess risk converges to zero. Our extensive
numerical experiments using simulated and real benchmark data demonstrate that
the proposed methods have better performance than several existing dimension
reduction methods and the standard deep learning models in the context of
classification and regression.
- Abstract(参考訳): 教師付き表現学習の目的は、予測のための効果的なデータ表現を構築することである。
高次元複素データの理想的な非パラメトリック表現のすべての特徴の中で、十分性、低次元性、および非絡み合いが最も不可欠である。
これらの特徴を持つ表現を学習するための深次元化手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
我々は、条件付き独立性を特徴付ける目的関数を最小化し、人口レベルでの混乱を促進する非パラメトリック表現を見つけるための理想表現学習タスクを定式化する。
次に、ディープニューラルネットワークを用いて非パラメトリックなサンプルレベルでターゲット表現を推定する。
推定された深い非パラメトリック表現は、その過剰なリスクがゼロに収束するという意味で一貫していることを示す。
シミュレーションおよび実際のベンチマークデータを用いた広範囲な数値実験により,提案手法は,既存の次元縮小法や標準ディープラーニングモデルよりも,分類と回帰の文脈で優れた性能を示す。
関連論文リスト
- A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳(メタデータ) (2024-06-06T01:52:09Z) - A Slices Perspective for Incremental Nonparametric Inference in High Dimensional State Spaces [25.16567521220103]
本研究では,高次元状態空間における漸進的非パラメトリック確率推定法を提案する。
提案手法は高次元表面のスライスを利用して任意の形状の後方分布を効率的に近似する。
論文 参考訳(メタデータ) (2024-05-26T06:52:56Z) - Nonparametric Linear Feature Learning in Regression Through
Regularisation [0.0]
本研究では,データの低次元線形部分空間内に存在する情報を教師付き学習シナリオに焦点をあてる。
線形部分空間を同時に推定する非パラメトリック予測を用いた線形特徴学習法を提案する。
当社のアプローチでは,デリバティブに対するペナルティを付加した経験的リスク最小化を採用し,汎用性を確保している。
論文 参考訳(メタデータ) (2023-07-24T12:52:55Z) - An evaluation framework for dimensionality reduction through sectional
curvature [59.40521061783166]
本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。
その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。
新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
論文 参考訳(メタデータ) (2023-03-17T11:59:33Z) - Laplacian-based Cluster-Contractive t-SNE for High Dimensional Data
Visualization [20.43471678277403]
本稿では t-SNE に基づく新しいグラフベース次元削減手法 LaptSNE を提案する。
具体的には、LaptSNEはグラフラプラシアンの固有値情報を利用して、低次元埋め込みにおけるポテンシャルクラスタを縮小する。
ラプラシアン合成目的による最適化を考える際には、より広い関心を持つであろう勾配を解析的に計算する方法を示す。
論文 参考訳(メタデータ) (2022-07-25T14:10:24Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳(メタデータ) (2022-03-11T02:37:35Z) - PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty [15.781915567005251]
本稿では,表現学習と不確実性定量化のための新しい代理モデルを提案する。
提案モデルでは、(潜在的に高次元の)データの次元的低減のためのニューラルネットワークアプローチと、データ分布を学習するための代理モデル手法を組み合わせる。
我々のモデルは,データの表現を学習し,(a)高次元データシステムにおける不確実性を推定し,(c)出力分布の高次モーメントを一致させることができる。
論文 参考訳(メタデータ) (2022-02-10T14:42:51Z) - Linear Adversarial Concept Erasure [98.14246446690282]
与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。
我々は、この問題を制約付き線形ミニマックスゲームとしてモデル化し、既存のソリューションが一般にこのタスクに最適でないことを示す。
線形であるにもかかわらず、この手法は、トラクタビリティと解釈可能性を維持しつつ、深い非線形分類器のバイアスを効果的に軽減することを示す。
論文 参考訳(メタデータ) (2022-01-28T13:00:17Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳(メタデータ) (2021-06-07T14:02:49Z) - Evaluating representations by the complexity of learning low-loss
predictors [55.94170724668857]
下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。
本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
論文 参考訳(メタデータ) (2020-09-15T22:06:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。