論文の概要: Contrastive inverse regression for dimension reduction

• arxiv url: http://arxiv.org/abs/2305.12287v1
• Date: Sat, 20 May 2023 21:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 23:09:03.463344
• Title: Contrastive inverse regression for dimension reduction
• Title（参考訳）: 次元減少のための対比逆回帰
• Authors: Sam Hawke, Hengrui Luo and Didong Li
• Abstract要約: コントラッシブ・リバース・レグレッション (CIR) と呼ばれる, コントラッシブ・セッティングに特化して設計されたディメンション・リダクション法を提案する。 CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。 勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised dimension reduction (SDR) has been a topic of growing interest in data science, as it enables the reduction of high-dimensional covariates while preserving the functional relation with certain response variables of interest. However, existing SDR methods are not suitable for analyzing datasets collected from case-control studies. In this setting, the goal is to learn and exploit the low-dimensional structure unique to or enriched by the case group, also known as the foreground group. While some unsupervised techniques such as the contrastive latent variable model and its variants have been developed for this purpose, they fail to preserve the functional relationship between the dimension-reduced covariates and the response variable. In this paper, we propose a supervised dimension reduction method called contrastive inverse regression (CIR) specifically designed for the contrastive setting. CIR introduces an optimization problem defined on the Stiefel manifold with a non-standard loss function. We prove the convergence of CIR to a local optimum using a gradient descent-based algorithm, and our numerical study empirically demonstrates the improved performance over competing methods for high-dimensional data.
• Abstract（参考訳）: SDR(Supervised dimension reduction)は、特定の応答変数と機能的関係を保ちながら高次元共変量の低減を可能にするため、データサイエンスへの関心が高まっているトピックである。 しかし、既存のSDR法はケースコントロール研究から収集したデータセットの分析には適していない。 この設定では、前景群(foreground group)として知られるケース群に特有の、または強化された低次元の構造を学習し、活用することが目的である。 対照的な潜在変数モデルとその変種のような教師なしの手法は、この目的のために開発されてきたが、次元が縮小された共変量と応答変数の間の機能的関係を保存できない。 本稿では,コントラッシブ・リバース・レグレッション(CIR)と呼ばれる,コントラッシブ・セッティングに特化して設計されたディメンション削減手法を提案する。 CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。 勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。

関連論文リスト

• Dimension reduction via score ratio matching [0.9012198585960441]
  スコアマッチングから派生したフレームワークを提案し、勾配を利用できない問題に勾配に基づく次元の減少を拡大する。 提案手法は,低次元構造を有する問題に対して,標準的なスコアマッチングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-25T22:21:03Z)
• Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
  我々は、高次元一般化線形モデルにおいて、オンライン推論に新しいアプローチを導入する。 本手法はシングルパスモードで動作し,時間と空間の複雑さを著しく低減する。 提案手法は,ADL (Approximated Debiased Lasso) と呼ばれ,有界な個人確率条件の必要性を緩和するだけでなく,数値性能も著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-28T15:36:48Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Simultaneous Dimensionality Reduction: A Data Efficient Approach for Multimodal Representations Learning [0.0]
  次元性還元(DR):独立次元性還元(IDR)と同時次元性還元(SDR)の2つの主要クラスを探索する。 IDRでは、各モダリティは独立に圧縮され、可能な限り各モダリティに多くのばらつきを保持するよう努力する。 SDRでは、モダリティを同時に圧縮して、削減された記述間の共変を最大化し、個々の変動がどれだけ保存されているかに注意を払わない。
  論文  参考訳（メタデータ） (2023-10-05T04:26:24Z)
• Differentially private sliced inverse regression in the federated paradigm [3.539008590223188]
  Sliced inverse regression(SIR)を拡張して、分散データの課題に対処し、プライバシと通信効率を優先する。 我々の手法はFSIR (Federated sliced inverse regression) と呼ばれ、複数のクライアント間で十分な次元削減部分空間を協調的に推定する。
  論文  参考訳（メタデータ） (2023-06-10T00:32:39Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。