論文の概要: Implicit Bias of Projected Subgradient Method Gives Provable Robust
Recovery of Subspaces of Unknown Codimension
- arxiv url: http://arxiv.org/abs/2201.09079v1
- Date: Sat, 22 Jan 2022 15:36:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 06:39:10.254689
- Title: Implicit Bias of Projected Subgradient Method Gives Provable Robust
Recovery of Subspaces of Unknown Codimension
- Title（参考訳）: 未知の余次元部分空間の確率的ロバスト回復を与える射影下降法の入射バイアス
- Authors: Paris V. Giampouras, Benjamin D. Haeffele and Ren\'e Vidal
- Abstract要約: 本稿では,DPCP (Dual principal Component Pursuit) が未知の部分空間次元の問題を確実に解決できることを示す。
プロジェクテッド・サブ段階降下法(PSGM)の複数インスタンスの実行に基づく,非常に単純なアルゴリズムを提案する。
特に、1)すべての問題インスタンスが部分空間のヌル空間のベクトルに収束し、2)問題インスタンスの解のアンサンブルが、部分空間のヌル空間に完全にまたがるほど十分に多様であることを示す。
- 参考スコア（独自算出の注目度）: 12.354076490479514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust subspace recovery (RSR) is a fundamental problem in robust
representation learning. Here we focus on a recently proposed RSR method termed
Dual Principal Component Pursuit (DPCP) approach, which aims to recover a basis
of the orthogonal complement of the subspace and is amenable to handling
subspaces of high relative dimension. Prior work has shown that DPCP can
provably recover the correct subspace in the presence of outliers, as long as
the true dimension of the subspace is known. We show that DPCP can provably
solve RSR problems in the {\it unknown} subspace dimension regime, as long as
orthogonality constraints -- adopted in previous DPCP formulations -- are
relaxed and random initialization is used instead of spectral one. Namely, we
propose a very simple algorithm based on running multiple instances of a
projected sub-gradient descent method (PSGM), with each problem instance
seeking to find one vector in the null space of the subspace. We theoretically
prove that under mild conditions this approach will succeed with high
probability. In particular, we show that 1) all of the problem instances will
converge to a vector in the nullspace of the subspace and 2) the ensemble of
problem instance solutions will be sufficiently diverse to fully span the
nullspace of the subspace thus also revealing its true unknown codimension. We
provide empirical results that corroborate our theoretical results and showcase
the remarkable implicit rank regularization behavior of PSGM algorithm that
allows us to perform RSR without being aware of the subspace dimension.
- Abstract（参考訳）: robust subspace recovery (rsr) はロバスト表現学習における根本的な問題である。
本稿では,部分空間の直交補空間の基底を復元し,高相対次元の部分空間を扱うことを目的とした,最近提案された RSR 手法である Dual principal Component Pursuit (DPCP) アプローチに着目する。
以前の研究により、DPCPは、部分空間の真の次元が知られている限り、外れ値の存在下で正しい部分空間を確実に復元できることを示した。
DPCP は、従来の DPCP の定式化で採用されていた直交性制約が緩和され、スペクトル式の代わりにランダム初期化が用いられる限り、 {\displaystyle {\it unknown} の部分空間次元状態における RSR 問題を確実に解くことができることを示す。
具体的には,部分空間のヌル空間に1つのベクトルを求める問題インスタンスに対して,psgm (projected sub-gradient descent method) の複数のインスタンスを実行することに基づく,非常に単純なアルゴリズムを提案する。
理論的には、穏やかな条件下では、このアプローチは高い確率で成功する。
特に私たちが示すのは
1)問題のすべてのインスタンスは、部分空間のヌル空間内のベクトルに収束し、そして、
2) 問題インスタンスの解のアンサンブルは、部分空間のヌル空間を完全に超えるのに十分多様なため、真の未知の余次元も明らかにされる。
提案手法は,PSGMアルゴリズムにおいて,部分空間次元を意識せずにRSRを実行することのできる顕著な暗黙的ランク正規化挙動を実証する実験結果を提供する。
関連論文リスト
- Subspace Representation Learning for Sparse Linear Arrays to Localize More Sources than Sensors: A Deep Learning Methodology [19.100476521802243]
我々はスパース線形アレイ(SLA)のサンプル共分散からコアレイ部分空間を推定する新しい手法を開発した。
このような表現を学習するために、所望部分空間と推定部分空間との分離を測る損失関数を提案する。
異なる次元の学習部分空間の計算は、新しいバッチサンプリング戦略によって高速化される。
論文 参考訳（メタデータ） (2024-08-29T15:14:52Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳（メタデータ） (2023-12-28T02:52:54Z) - K-band: Self-supervised MRI Reconstruction via Stochastic Gradient Descent over K-space Subsets [16.785465381844435]
我々はkバンドと呼ばれる新しい数学的枠組みを導入し、部分的かつ限定的なk空間データのみを用いてDLモデルを訓練する。
各トレーニングイテレーションでは、完全にサンプリングされたk-空間を勾配を計算する代わりに、小さなk-空間の部分のみを使用する。
生MRIデータを用いた数値実験により、kバンドは限定分解能データで訓練された他の2つの方法より優れていることが示された。
論文 参考訳（メタデータ） (2023-08-05T22:07:37Z) - A Geometric Notion of Causal Probing [91.14470073637236]
言語モデルの表現空間では、動詞数のような概念に関するすべての情報が線形部分空間に符号化される。
理想線型概念部分空間を特徴づける内在的基準のセットを与える。
LEACEは概念情報の約半分を含む1次元の部分空間を返す。
論文 参考訳（メタデータ） (2023-07-27T17:57:57Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳（メタデータ） (2023-03-10T07:42:49Z) - Principal Component Analysis in Space Forms [7.822210329345704]
空間形式における主成分分析(PCA)について検討する。
空間形式における与えられた点に対する最適の低次元アフィン部分空間を見つけることは次元減少に等しい。
最適アフィン部分空間は等式への解であり、(2)異なる次元の最適アフィン部分空間はネスト集合を形成する。
論文 参考訳（メタデータ） (2023-01-06T23:48:37Z) - Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。
本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。
提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
論文 参考訳（メタデータ） (2021-03-10T16:45:22Z) - Multi-point dimensionality reduction to improve projection layout
reliability [77.34726150561087]
通常の次元還元(dr)では、m-次元空間(原空間)の各データインスタンスは、d-次元空間(視覚空間)内の一点にマッピングされる。
当社のソリューションであるRed Gray Plusは、通常のDRとグラフ描画技術を組み合わせて構築され、拡張されています。
論文 参考訳（メタデータ） (2021-01-15T17:17:02Z) - A Critique of Self-Expressive Deep Subspace Clustering [23.971512395191308]
サブスペースクラスタリング(Subspace clustering)は、線形サブスペースの和集合上でサポートされているデータをクラスタリングするために設計された、教師なしクラスタリング技術である。
従来の作業では適切に対処されていなかったこのアプローチには,潜在的な欠陥がいくつかあることを示す。
論文 参考訳（メタデータ） (2020-10-08T00:14:59Z) - Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral
Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction [48.73525876467408]
本稿では,超スペクトル部分空間解析のための新しい手法を提案する。
この手法はジョイント・アンド・プログレッシブ・サブスペース分析(JPSA)と呼ばれる。
2つの広帯域超スペクトルデータセットに対して提案したJPSAの優位性と有効性を示す実験を行った。
論文 参考訳（メタデータ） (2020-09-21T16:29:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。