論文の概要: A Novel Stochastic Gradient Descent Algorithm for Learning Principal Subspaces

• arxiv url: http://arxiv.org/abs/2212.04025v1
• Date: Thu, 8 Dec 2022 01:26:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 14:32:14.521444
• Title: A Novel Stochastic Gradient Descent Algorithm for Learning Principal Subspaces
• Title（参考訳）: 主部分空間学習のための確率的勾配ディフレッシュアルゴリズム
• Authors: Charline Le Lan, Joshua Greaves, Jesse Farebrother, Mark Rowland, Fabian Pedregosa, Rishabh Agarwal, Marc G. Bellemare
• Abstract要約: 神経科学、画像圧縮、深層強化学習といったいくつかの応用において、与えられた行列の主部分空間は、個々のデータの有用な低次元表現を提供する。 ここでは、与えられた行列の$d$次元主部分空間をサンプルエントリから決定することに興味がある。 我々は、サンプルエントリから主部分空間を学習し、近似部分空間がニューラルネットワークで表現されているときに適用できるアルゴリズムを導出し、事実上無限の行数と列数を持つデータセットにスケールすることができる。
• 参考スコア（独自算出の注目度）: 39.51484186673415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many machine learning problems encode their data as a matrix with a possibly very large number of rows and columns. In several applications like neuroscience, image compression or deep reinforcement learning, the principal subspace of such a matrix provides a useful, low-dimensional representation of individual data. Here, we are interested in determining the $d$-dimensional principal subspace of a given matrix from sample entries, i.e. from small random submatrices. Although a number of sample-based methods exist for this problem (e.g. Oja's rule \citep{oja1982simplified}), these assume access to full columns of the matrix or particular matrix structure such as symmetry and cannot be combined as-is with neural networks \citep{baldi1989neural}. In this paper, we derive an algorithm that learns a principal subspace from sample entries, can be applied when the approximate subspace is represented by a neural network, and hence can be scaled to datasets with an effectively infinite number of rows and columns. Our method consists in defining a loss function whose minimizer is the desired principal subspace, and constructing a gradient estimate of this loss whose bias can be controlled. We complement our theoretical analysis with a series of experiments on synthetic matrices, the MNIST dataset \citep{lecun2010mnist} and the reinforcement learning domain PuddleWorld \citep{sutton1995generalization} demonstrating the usefulness of our approach.
• Abstract（参考訳）: 多くの機械学習問題は、データをおそらく非常に多くの行と列を持つ行列としてエンコードする。 神経科学、画像圧縮、深層強化学習といったいくつかの応用において、そのような行列の主部分空間は、個人データの有用な低次元表現を提供する。 ここでは、与えられた行列の$d$-次元主部分空間をサンプルエントリ、すなわち小さなランダム部分行列から決定することに興味がある。 この問題にはいくつかのサンプルベースの方法(例えば oja の規則 \citep{oja1982simplified} )が存在するが、これらは行列や対称性のような特定の行列構造の全列へのアクセスを想定しており、ニューラルネットワーク \citep{baldi1989neural} と as-is を組み合わせることはできない。 本稿では、サンプルエントリから主部分空間を学習するアルゴリズムを導出し、近似部分空間をニューラルネットワークで表現した場合に適用可能であり、したがって、事実上無限個の行と列を持つデータセットにスケールすることができる。 本手法は,最小化が所望の主部分空間である損失関数を定義し,バイアスを制御可能な損失の勾配推定を構成する。 MNIST データセット \citep{lecun2010mnist} と強化学習領域 PuddleWorld \citep{sutton 1995 generalization} の合成行列に関する一連の実験により、我々の理論解析を補完する。

関連論文リスト

• Optimal Estimation of Shared Singular Subspaces across Multiple Noisy Matrices [3.3373545585860596]
  本研究は,低ランク行列デノジングフレームワークにおいて,複数の行列にまたがる共有(左)特異部分空間を推定することに焦点を当てる。 信号行列の真の特異部分空間が同一である場合、Stack-SVDは最小の最大速度最適化を実現する。 部分的共有の様々なケースにおいて、Stack-SVDが有効であり続ける条件を厳格に特徴付け、最小限の最適性を達成したり、一貫した見積もりを達成できなかったりする。
  論文  参考訳（メタデータ） (2024-11-26T02:49:30Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization [17.104994036477308]
  本稿では,圧縮センシング関連回復問題に対する測定行列を得るための学習に基づくアルゴリズムを提案する。 ニューラルネットワーク関連のトピックにおけるこのようなメトリクスの最近の成功は、機械学習に基づく問題の解決策を動機付けている。
  論文  参考訳（メタデータ） (2021-10-14T08:35:54Z)
• A Deep Generative Model for Matrix Reordering [26.86727566323601]
  グラフの様々な行列の並べ替えの潜在空間を学習する生成モデルを開発する。 学習した潜在空間から直感的なユーザインタフェースを構築し、様々な行列の並べ替えのマップを作成する。 本稿では,グラフの行列再順序生成を機械学習モデルで学習する,グラフの行列可視化に対する基本的新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-11T02:55:24Z)
• Statistical limits of dictionary learning: random matrix theory and the spectral replica method [28.54289139061295]
  ベイズ最適設定における行列記述と辞書学習の複雑なモデルについて考察する。 本稿では, 統計力学とランダム行列理論, スペクトル複製法を組み合わせた新しいレプリカ法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T12:02:32Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• A Neural Network for Semigroups [0.0]
  有限半群の部分乗算表を完成させるタスクにデノイジングオートエンコーダベースのニューラルネットワークアーキテクチャを適用します。 利用可能なデータの約10%で、約80%のケースで、完全なCayleyをわずか半分から再構築できるモデルを構築することができる。
  論文  参考訳（メタデータ） (2021-03-12T16:28:39Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Sketching Transformed Matrices with Applications to Natural Language Processing [76.6222695417524]
  本稿では, 変換行列を用いて, 与えられた小さな行列の積を計算するための空間効率のよいスケッチアルゴリズムを提案する。 提案手法は誤差が小さく,空間と時間の両方で効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T03:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。