論文の概要: Metric-Aware Principal Component Analysis (MAPCA):A Unified Framework for Scale-Invariant Representation Learning
- arxiv url: http://arxiv.org/abs/2604.14249v1
- Date: Wed, 15 Apr 2026 08:11:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:29.944072
- Title: Metric-Aware Principal Component Analysis (MAPCA):A Unified Framework for Scale-Invariant Representation Learning
- Title(参考訳): 計量対応主成分分析(MAPCA):スケール不変表現学習のための統一フレームワーク
- Abstract要約: Metric-Aware principal Component Analysis (MAPCA)
一般化固有プロブレム最大Tr(WT Sigma W)に基づくスケール不変表現学習のための統一的フレームワークを提案する。
We show that W-MSE, as as a whitening-based method, are corresponding to M = Sigma-1 (beta = -1)。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Metric-Aware Principal Component Analysis (MAPCA), a unified framework for scale-invariant representation learning based on the generalised eigenproblem max Tr(W^T Sigma W) subject to W^T M W = I, where M is a symmetric positive definite metric matrix. The choice of M determines the representation geometry. The canonical beta-family M(beta) = Sigma^beta, beta in [0,1], provides continuous spectral bias control between standard PCA (beta=0) and output whitening (beta=1), with condition number kappa(beta) = (lambda_1/lambda_p)^(1-beta) decreasing monotonically to isotropy. The diagonal metric M = D = diag(Sigma) recovers Invariant PCA (IPCA), a method rooted in Frisch (1928) diagonal regression, as a distinct member of the broader framework. We prove that scale invariance holds if and only if the metric transforms as M_tilde = CMC under rescaling C, a condition satisfied exactly by IPCA but not by the general beta-family at intermediate values. Beyond its classical interpretation, MAPCA provides a geometric language that unifies several self-supervised learning objectives. Barlow Twins and ZCA whitening correspond to beta=1 (output whitening); VICReg's variance term corresponds to the diagonal metric. A key finding is that W-MSE, despite being described as a whitening-based method, corresponds to M = Sigma^{-1} (beta = -1), outside the spectral compression range entirely and in the opposite spectral direction to Barlow Twins. This distinction between input and output whitening is invisible at the level of loss functions and becomes precise only within the MAPCA framework.
- Abstract(参考訳): W^T M W = I を対象とする一般化固有確率 Tr(W^T Sigma W) に基づくスケール不変表現学習の統一フレームワークである Metric-Aware principal Component Analysis (MAPCA) を導入する。
M の選択は表現幾何学を決定する。
標準ベータファミリー M(beta) = Sigma^beta, beta in [0,1] は、標準PCA (beta=0) と出力ホワイトニング (beta=1) の間の連続的なスペクトルバイアス制御を提供し、条件数 kappa(beta) = (lambda_1/lambda_p)^(1-beta) は単調に等方性に減少する。
対角距離 M = D = diag(Sigma) は、Frsch (1928) に根付いた方法である不変PCA (IPCA) を、より広いフレームワークの別個の要素として回収する。
スケール不変性が、計量が C の再スケーリングの下で M_tilde = CMC として変換されるときと、中間値の一般ベータ族によって満たされない条件が成り立つことを証明している。
MAPCAは古典的な解釈の他に、幾何的な言語を提供し、複数の自己教師型学習目標を統一する。
Barlow Twins と ZCA Whitening は beta=1 (output whitening) に対応し、VICReg の分散項は対角距離に対応する。
重要な発見は、W-MSEはホワイトニング法と記述されているが、M = Sigma^{-1} (ベータ = -1) に対応しており、スペクトル圧縮範囲の外側で、バーロウ・ツインズとは反対のスペクトル方向である。
この入力と出力の白化は、損失関数のレベルでは見えず、MAPCAフレームワーク内でのみ正確になる。
関連論文リスト
- Orthogonal Polynomial Approximation for Matrix Log Normalization in Global Covariance Pooling [11.561251776738324]
Global Covariance Pooling (GCP)は、二階特徴統計をキャプチャすることでディープネットワークを改善し、特にきめ細かい認識に有効である。
鍵となる要素は、平均固有値事前正規化(英語版)であり、ログの特異点から離れた1付近のスペクトルを中心とし、閉じた形でlog(A)の特異部分を返すポスト補償(英語版)である。
論文 参考訳(メタデータ) (2026-08-19T15:17:46Z) - Degenerate in Whose Frame? An Equivariance Condition for Degeneracy Detection in LiDAR Registration [20.718662540928214]
LiDAR登録のためのデジェネリアシー検出器は、一般的に6つの軸あたりのバイナリラベルを返す。
体枠の変化の下では、H' = Ad(T)T H Ad(T) は相似性ではなく、相似性によって変換されることを示す。
騒音のない円形トンネルでは、原点を1メートルシフトすると、どの自由度がフラグ付けされているかが変化する。
論文 参考訳(メタデータ) (2026-08-16T05:04:11Z) - High-dimensional nonparametric changepoint detection via low-rank degree-two density projection [2.1991623402625606]
本稿では,行列平均推定による密度推定を置き換えつつ,最大2倍の密度情報を保持する表現に基づく手法を提案する。
周囲の寸法を最大200ドル(約2万2000円)、3変量$d=100ドル(約1万2000円)のシーケンス、そして128ドル(約1万2000円)のヒューマンアクティビティ・ベンチマークは、この手法が計算学的に実用的であることを示している。
論文 参考訳(メタデータ) (2026-08-14T03:48:29Z) - Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability [51.56484100374058]
機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
論文 参考訳(メタデータ) (2026-08-10T19:42:01Z) - Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。
我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
論文 参考訳(メタデータ) (2026-06-12T07:10:17Z) - Persistence diagrams of random matrices via Morse theory: universality and a new spectral diagnostic [0.0]
我々は、単位球面 Sn-1 に制限された二次形式 f(x) = xT M x の部分レベル集合濾過の永続図式が、対称行列 M の固有値によって解析的に決定されることを証明した。
閉形式永続エントロピーPE = log(8n/) - 1 を導出し、永続統計量の変動係数が n-0.6 で減衰することを数値的に検証する。
論文 参考訳(メタデータ) (2026-03-29T23:26:02Z) - RAMPAGE: RAndomized Mid-Point for debiAsed Gradient Extrapolation [10.213412445129089]
Extragradient (EG) は、非線形分野、保守的分野、その他の分野に適用した場合、離散化バイアスに悩まされることがある。
本稿では,RAMPAGE(debiAsed Gradient Extrapolation)のためのRAndomized Mid-Pointとその分散還元RAM+について紹介する。
論文 参考訳(メタデータ) (2026-03-23T16:18:31Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳(メタデータ) (2026-02-26T15:27:53Z) - Transformer Injectivity & Geometric Robustness - Analytic Margins and Bi-Lipschitz Uniformity of Sequence-Level Hidden States [0.0]
離散的プロンプトから終点隠れ状態への写像は、有限プロンプト集合に対して一般射影的であることを示す。
本研究では, 層間, シーケンス長, モデルスケール, 8ビットおよび4ビットのアクティベーション量子化について検討した。
論文 参考訳(メタデータ) (2025-11-17T19:39:15Z) - Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification [75.01389991485098]
リッジ回帰はクラスタ平均ベクトルのスケールによって定性的に異なる挙動を示す。
スケールが非常に大きいレジームでは、良心過剰を許容する条件は回帰タスクと同一であることが判明した。
論文 参考訳(メタデータ) (2025-03-11T01:45:42Z) - Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
本稿では、リーマン幾何学の観点から行列対数とパワーの包括的かつ統一的な理解を提供する。
論文 参考訳(メタデータ) (2024-07-15T07:11:44Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳(メタデータ) (2020-06-04T17:51:00Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳(メタデータ) (2020-03-30T08:40:35Z) - A Unified View of Label Shift Estimation [45.472049320861856]
ラベルの限界を推定する2つの主要なアプローチがある。
本稿では,2つの手法の統一的な視点とMLLSの理論的特徴について述べる。
我々の分析は、BBSEの統計的非効率性は、粗い校正による情報の喪失に起因している。
論文 参考訳(メタデータ) (2020-03-17T06:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。