論文の概要: Contrastive inverse regression for dimension reduction
- arxiv url: http://arxiv.org/abs/2305.12287v1
- Date: Sat, 20 May 2023 21:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 23:09:03.463344
- Title: Contrastive inverse regression for dimension reduction
- Title(参考訳): 次元減少のための対比逆回帰
- Authors: Sam Hawke, Hengrui Luo and Didong Li
- Abstract要約: コントラッシブ・リバース・レグレッション (CIR) と呼ばれる, コントラッシブ・セッティングに特化して設計されたディメンション・リダクション法を提案する。
CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。
勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Supervised dimension reduction (SDR) has been a topic of growing interest in
data science, as it enables the reduction of high-dimensional covariates while
preserving the functional relation with certain response variables of interest.
However, existing SDR methods are not suitable for analyzing datasets collected
from case-control studies. In this setting, the goal is to learn and exploit
the low-dimensional structure unique to or enriched by the case group, also
known as the foreground group. While some unsupervised techniques such as the
contrastive latent variable model and its variants have been developed for this
purpose, they fail to preserve the functional relationship between the
dimension-reduced covariates and the response variable. In this paper, we
propose a supervised dimension reduction method called contrastive inverse
regression (CIR) specifically designed for the contrastive setting. CIR
introduces an optimization problem defined on the Stiefel manifold with a
non-standard loss function. We prove the convergence of CIR to a local optimum
using a gradient descent-based algorithm, and our numerical study empirically
demonstrates the improved performance over competing methods for
high-dimensional data.
- Abstract(参考訳): SDR(Supervised dimension reduction)は、特定の応答変数と機能的関係を保ちながら高次元共変量の低減を可能にするため、データサイエンスへの関心が高まっているトピックである。
しかし、既存のSDR法はケースコントロール研究から収集したデータセットの分析には適していない。
この設定では、前景群(foreground group)として知られるケース群に特有の、または強化された低次元の構造を学習し、活用することが目的である。
対照的な潜在変数モデルとその変種のような教師なしの手法は、この目的のために開発されてきたが、次元が縮小された共変量と応答変数の間の機能的関係を保存できない。
本稿では,コントラッシブ・リバース・レグレッション(CIR)と呼ばれる,コントラッシブ・セッティングに特化して設計されたディメンション削減手法を提案する。
CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。
勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Simultaneous Dimensionality Reduction: A Data Efficient Approach for
Multimodal Representations Learning [0.0]
次元性還元(DR):独立次元性還元(IDR)と同時次元性還元(SDR)の2つの主要クラスを探索する。
IDRでは、各モダリティは独立に圧縮され、可能な限り各モダリティに多くのばらつきを保持するよう努力する。
SDRでは、モダリティを同時に圧縮して、削減された記述間の共変を最大化し、個々の変動がどれだけ保存されているかに注意を払わない。
論文 参考訳(メタデータ) (2023-10-05T04:26:24Z) - Differentially private sliced inverse regression in the federated
paradigm [3.539008590223188]
Sliced inverse regression(SIR)を拡張して、分散データの課題に対処し、プライバシと通信効率を優先する。
我々の手法はFSIR (Federated sliced inverse regression) と呼ばれ、複数のクライアント間で十分な次元削減部分空間を協調的に推定する。
論文 参考訳(メタデータ) (2023-06-10T00:32:39Z) - Functional sufficient dimension reduction through information
maximization with application to classification [7.577667173094585]
2つの新しい機能的十分次元還元法 (FSDR) が, 相互情報と正方損失の相互情報に基づいて提案されている。
この2つの手法は,シミュレーションと実データ解析による既存のFSDR法と競合することを示した。
論文 参考訳(メタデータ) (2023-05-18T11:18:48Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳(メタデータ) (2021-10-20T06:15:45Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳(メタデータ) (2020-07-16T13:27:47Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z) - Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。
本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。
外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
論文 参考訳(メタデータ) (2020-06-15T11:36:59Z) - Multivariate Functional Regression via Nested Reduced-Rank
Regularization [2.730097437607271]
多変量関数応答と予測器を備えた回帰モデルに適用するネスト型低ランク回帰(NRRR)手法を提案する。
非漸近解析により、NRRRは少なくとも低ランク回帰と同等の誤差率を達成できることを示す。
NRRRを電力需要問題に適用し、日中電力消費の軌跡と日中電力消費の軌跡を関連づける。
論文 参考訳(メタデータ) (2020-03-10T14:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。