論文の概要: PCA++: How Uniformity Induces Robustness to Background Noise in Contrastive Learning

• arxiv url: http://arxiv.org/abs/2511.12278v1
• Date: Sat, 15 Nov 2025 16:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.798018
• Title: PCA++: How Uniformity Induces Robustness to Background Noise in Contrastive Learning
• Title（参考訳）: PCA++: コントラスト学習における背景雑音に対する均一性の影響
• Authors: Mingqi Wu, Qiang Sun, Yi Yang,
• Abstract要約: 高次元データは、しばしば構造化背景雑音によって隠蔽される低次元信号を含む。 対照的な学習によって動機づけられた我々は、正のペアから共有信号部分空間を復元する問題、同じ信号を共有するが、バックグラウンドで異なるペアの観測に対処する。 我々のベースラインであるPCA+は、アライメントのみのコントラスト学習を使用し、背景変動が穏やかな場合に成功するが、強いノイズや高次元の条件下では失敗する。 我々は,PCA++を紹介した。PCA++は制約の厳しいコントラスト型PCAで,投影された特徴に対して同一性共分散を強制する。
• 参考スコア（独自算出の注目度）: 12.061533430519702
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: High-dimensional data often contain low-dimensional signals obscured by structured background noise, which limits the effectiveness of standard PCA. Motivated by contrastive learning, we address the problem of recovering shared signal subspaces from positive pairs, paired observations sharing the same signal but differing in background. Our baseline, PCA+, uses alignment-only contrastive learning and succeeds when background variation is mild, but fails under strong noise or high-dimensional regimes. To address this, we introduce PCA++, a hard uniformity-constrained contrastive PCA that enforces identity covariance on projected features. PCA++ has a closed-form solution via a generalized eigenproblem, remains stable in high dimensions, and provably regularizes against background interference. We provide exact high-dimensional asymptotics in both fixed-aspect-ratio and growing-spike regimes, showing uniformity's role in robust signal recovery. Empirically, PCA++ outperforms standard PCA and alignment-only PCA+ on simulations, corrupted-MNIST, and single-cell transcriptomics, reliably recovering condition-invariant structure. More broadly, we clarify uniformity's role in contrastive learning, showing that explicit feature dispersion defends against structured noise and enhances robustness.
• Abstract（参考訳）: 高次元データは、しばしば構造化背景雑音によって隠蔽される低次元信号を含み、標準PCAの有効性を制限する。 対照的な学習によって動機づけられた我々は、正のペアから共有信号部分空間を復元する問題、同じ信号を共有するが、バックグラウンドで異なるペアの観測に対処する。 我々のベースラインであるPCA+は、アライメントのみのコントラスト学習を使用し、背景変動が穏やかな場合に成功するが、強いノイズや高次元の条件下では失敗する。 そこで我々は,PCA++を提案する。PCA++は一様性に制約されたコントラスト型PCAで,投影された特徴に対する同一性共分散を強制する。 PCA++は一般化固有プロブレムによる閉形式解を持ち、高次元で安定であり、背景干渉に対して確実に正則である。 固定アスペクト比と成長スパイク比の両方において正確な高次元漸近を呈し、信号回復における一様性の役割を示す。 経験的に、PCA++は、シミュレーション、破損したMNIST、単細胞転写学において標準PCAとアライメントのみのPCA+より優れ、条件不変構造を確実に回復する。 より広義には、対照的な学習における一様性の役割を明確にし、明示的な特徴分散が構造的雑音に対して防御し、堅牢性を高めることを示す。

関連論文リスト

• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Towards Robust Image Denoising with Scale Equivariance [10.894808298340994]
  我々は,空間的一様雑音のトレーニングから,空間的非一様劣化の推論まで,モデルがより適応できるようになることを論じる。 本稿では,HNM (Heterogeneous Normalization Module) とIGM (Interactive Gating Module) の2つの主要コンポーネントを備える頑健なブラインド認知フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-05T00:06:28Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• A TRPCA-Inspired Deep Unfolding Network for Hyperspectral Image Denoising via Thresholded t-SVD and Top-K Sparse Transformer [20.17660504535571]
  本稿では,低ランクとスパースという2つの密に統合されたモジュール間のステージワイドな交互化を実現する新しいディープ展開ネットワーク(DU-TRPCA)を提案する。 合成および実世界のHSIの実験により、DU-TRPCAは高密度混合雑音下で最先端の手法を超越していることが示された。
  論文  参考訳（メタデータ） (2025-06-03T02:01:39Z)
• Achieving Fair PCA Using Joint Eigenvalue Decomposition [3.667856249968452]
  主成分分析は次元還元法として広く用いられている。 特に人口統計の特徴を含むデータを扱う場合には、公平さを無視することが多い。 本稿では,複数行列の同時対角化を可能にする手法であるJEVD(Joint Eigen Value Decomposition)を取り入れた手法を提案する。
  論文  参考訳（メタデータ） (2025-02-24T07:51:02Z)
• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• A novel approach for Fair Principal Component Analysis based on eigendecomposition [10.203602318836444]
  1次元探索からなる簡単な戦略を用いて,公平性問題に対処する新しいPCAアルゴリズムを提案する。 私たちの発見は、いくつかの現実の状況と、バランスの取れていないデータセットとバランスの取れていないデータセットの両方のシナリオで一致しています。
  論文  参考訳（メタデータ） (2022-08-24T08:20:16Z)
• Enhanced Principal Component Analysis under A Collaborative-Robust Framework [89.28334359066258]
  重み学習とロバストな損失を非自明な方法で組み合わせる,一般的な協調ロバスト重み学習フレームワークを提案する。 提案されたフレームワークでは、トレーニング中の重要度を示す適切なサンプルの一部のみがアクティブになり、エラーが大きい他のサンプルは無視されません。 特に、不活性化試料の負の効果はロバスト損失関数によって軽減される。
  論文  参考訳（メタデータ） (2021-03-22T15:17:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。