論文の概要: Autoencoders for a manifold learning problem with a Jacobian rank
constraint
- arxiv url: http://arxiv.org/abs/2306.14194v1
- Date: Sun, 25 Jun 2023 10:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 16:11:43.891300
- Title: Autoencoders for a manifold learning problem with a Jacobian rank
constraint
- Title（参考訳）: ヤコビアン階制約付き多様体学習問題のオートエンコーダ
- Authors: Rustem Takhanov, Y. Sultan Abylkairov, Maxat Tezekbayev
- Abstract要約: 多様体学習問題は、任意の点を$k$次元多様体上の近傍の近傍に写像する作用素を見つける問題である。
私たちはこの演算子を修正関数と呼びます。
提案手法を合成および実世界のデータセット上でのCAE+H法と比較した。
- 参考スコア（独自算出の注目度）: 6.649715954440713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We formulate the manifold learning problem as the problem of finding an
operator that maps any point to a close neighbor that lies on a ``hidden''
$k$-dimensional manifold. We call this operator the correcting function. Under
this formulation, autoencoders can be viewed as a tool to approximate the
correcting function. Given an autoencoder whose Jacobian has rank $k$, we
deduce from the classical Constant Rank Theorem that its range has a structure
of a $k$-dimensional manifold.
A $k$-dimensionality of the range can be forced by the architecture of an
autoencoder (by fixing the dimension of the code space), or alternatively, by
an additional constraint that the rank of the autoencoder mapping is not
greater than $k$. This constraint is included in the objective function as a
new term, namely a squared Ky-Fan $k$-antinorm of the Jacobian function. We
claim that this constraint is a factor that effectively reduces the dimension
of the range of an autoencoder, additionally to the reduction defined by the
architecture. We also add a new curvature term into the objective. To conclude,
we experimentally compare our approach with the CAE+H method on synthetic and
real-world datasets.
- Abstract（参考訳）: 多様体学習問題を、任意の点を ``hidden'' $k$-dimensional manifold 上の近傍に写像する作用素を見つける問題として定式化する。
この演算子を修正関数と呼んでいます。
この定式化では、オートエンコーダは補正関数を近似するツールと見なすことができる。
ヤコビアンが k$ のランクを持つオートエンコーダが与えられると、その範囲が $k$-次元多様体の構造を持つことを古典定数階数定理から推測する。
範囲の$k$の次元性は、オートエンコーダのアーキテクチャ(コード空間の次元を固定することで)によって強制されるか、あるいは、オートエンコーダマッピングのランクが$k$以上でないという追加の制約によって強制される。
この制約は新しい項、すなわちジャコビアン函数の平方体 Ky-Fan $k$-反ノルムとして目的函数に含まれる。
この制約は、アーキテクチャによって定義される縮小に加えて、オートエンコーダの範囲の次元を効果的に減少させる要因であると主張する。
また、目的に新たな曲率項を追加します。
結論として,本手法を合成および実世界のデータセット上でのCAE+H法と比較した。
関連論文リスト
- Topological degree as a discrete diagnostic for disentanglement, with applications to the $Δ$VAE [4.749155557874305]
本稿では,データ多様体から潜在空間への写像であるエンコーダの位相次数,すなわちエンコーダの位相次数を導入する。
実験の結果,$Delta$VAEはLSBDスコアが比較的小さいことがわかった。
論文 参考訳（メタデータ） (2024-09-02T14:51:31Z) - Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds [3.180674374101366]
Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。
2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。
タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
論文 参考訳（メタデータ） (2024-05-22T20:33:09Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - Principal Bit Analysis: Autoencoding with Schur-Concave Loss [45.420030784128166]
線形オートコーダは,雑音によって変数が遅延したり劣化したりする。
第2の応用として、原型的原型固定レート圧縮機を考える。
論文 参考訳（メタデータ） (2021-06-05T04:45:30Z) - Linear-Time Gromov Wasserstein Distances using Low Rank Couplings and
Costs [45.87981728307819]
異種空間に居住する関連するデータセットを比較して整列する能力は、機械学習においてますます重要な役割を担っている。
グロモフ・ワッサーシュタイン (Gromov-Wasserstein, GW) 形式主義はこの問題に対処するのに役立つ。
論文 参考訳（メタデータ） (2021-06-02T12:50:56Z) - Revisiting Modified Greedy Algorithm for Monotone Submodular
Maximization with a Knapsack Constraint [75.85952446237599]
修正されたグリードアルゴリズムは、近似係数が0.305$であることを示す。
最適なデータ依存上界を導出する。
また、分岐やバウンドといったアルゴリズムの効率を大幅に改善するためにも使うことができる。
論文 参考訳（メタデータ） (2020-08-12T15:40:21Z) - FANOK: Knockoffs in Linear Time [73.5154025911318]
本稿では,ガウスモデル-Xノックオフを効率的に実装し,大規模特徴選択問題における誤発見率を制御するアルゴリズムについて述べる。
当社のメソッドは、最大50,000ドルという問題でテストしています。
論文 参考訳（メタデータ） (2020-06-15T21:55:34Z) - Submodular Maximization Through Barrier Functions [32.41824379833395]
連続最適化における障壁関数に着想を得た制約付き部分モジュラーの新しい手法を提案する。
提案するアルゴリズムを実世界の複数のアプリケーションに対して広範囲に評価する。
論文 参考訳（メタデータ） (2020-02-10T03:32:49Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳（メタデータ） (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。