論文の概要: StablePCA: Learning Shared Representations across Multiple Sources via Minimax Optimization

• arxiv url: http://arxiv.org/abs/2505.00940v1
• Date: Fri, 02 May 2025 00:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-05 17:21:19.877075
• Title: StablePCA: Learning Shared Representations across Multiple Sources via Minimax Optimization
• Title（参考訳）: StablePCA:ミニマックス最適化による複数ソース間の共有表現学習
• Authors: Zhenyu Wang, Molei Liu, Jing Lei, Francis Bach, Zijian Guo,
• Abstract要約: マルチソース高次元データの場合、重要な目的は、異なるソースにまたがる元の特徴を効果的に近似する低次元特徴表現を抽出することである。 多次元表現の群分布の新しい手法であるミラー安定主成分PCAを提案する。 種々の有限サンプルシナリオにおけるロバストな低次元表現を抽出する際の高次元精度と効率性を示す。
• 参考スコア（独自算出の注目度）: 8.525738573467732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When synthesizing multisource high-dimensional data, a key objective is to extract low-dimensional feature representations that effectively approximate the original features across different sources. Such general feature extraction facilitates the discovery of transferable knowledge, mitigates systematic biases such as batch effects, and promotes fairness. In this paper, we propose Stable Principal Component Analysis (StablePCA), a novel method for group distributionally robust learning of latent representations from high-dimensional multi-source data. A primary challenge in generalizing PCA to the multi-source regime lies in the nonconvexity of the fixed rank constraint, rendering the minimax optimization nonconvex. To address this challenge, we employ the Fantope relaxation, reformulating the problem as a convex minimax optimization, with the objective defined as the maximum loss across sources. To solve the relaxed formulation, we devise an optimistic-gradient Mirror Prox algorithm with explicit closed-form updates. Theoretically, we establish the global convergence of the Mirror Prox algorithm, with the convergence rate provided from the optimization perspective. Furthermore, we offer practical criteria to assess how closely the solution approximates the original nonconvex formulation. Through extensive numerical experiments, we demonstrate StablePCA's high accuracy and efficiency in extracting robust low-dimensional representations across various finite-sample scenarios.
• Abstract（参考訳）: マルチソース高次元データを合成する場合、重要な目的は、異なるソースにまたがる元の特徴を効果的に近似する低次元特徴表現を抽出することである。 このような一般的な特徴抽出は、伝達可能な知識の発見を促進し、バッチ効果などの体系的なバイアスを緩和し、公平性を促進する。 本稿では,高次元マルチソースデータから潜在表現を群分散的に頑健に学習する新しい手法である安定主成分分析(StablePCA)を提案する。 PCAを多元系に一般化する主な課題は、固定階数制約の非凸性にあり、ミニマックス最適化は非凸である。 この課題に対処するため,Fantope 緩和法を用いて,コンベックス最小最適化として問題を修正し,その目的をソース間の最大損失として定義する。 緩和された定式化を解決するために,明示的なクローズドフォーム更新を伴う楽観的な段階的なミラープロキシアルゴリズムを考案した。 理論的には、最適化の観点から得られる収束率を用いて、ミラープロキシアルゴリズムのグローバル収束を確立する。 さらに、この解が元の非凸の定式化にどの程度近いかを評価するための実践的基準を提供する。 広範囲にわたる数値実験を通じて,様々な有限サンプルシナリオにおけるロバストな低次元表現抽出におけるStablePCAの精度と効率を実証する。

関連論文リスト

• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• Alternating minimization for square root principal component pursuit [2.449191760736501]
  平方根主成分探索(SRPCP)問題を解くための効率的なアルゴリズムを開発した。 具体的には、各反復が閉形式最適解を楽しむサブプロブレムを含む、チューニング不要な交互最小化(AltMin)アルゴリズムを提案する。 我々は,AltMin法をさらに加速するために,核ノルムの変分定式化とブラー・モンティロ分解に基づく手法を導入する。
  論文  参考訳（メタデータ） (2024-12-31T14:43:50Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [17.384717824118255]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• Sinkhorn Distributionally Robust Optimization [18.46110328123008]
  シンクホーン距離はエントロピー正則化に基づくワッサーシュタイン距離の変種である。 一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
  論文  参考訳（メタデータ） (2021-09-24T12:40:48Z)
• Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
  空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。 これらの問題に対する新規で簡単な最適化法を開発した。 結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-09-23T17:38:24Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。