論文の概要: SpecNet2: Orthogonalization-free spectral embedding by neural networks

• arxiv url: http://arxiv.org/abs/2206.06644v1
• Date: Tue, 14 Jun 2022 07:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 02:54:35.616077
• Title: SpecNet2: Orthogonalization-free spectral embedding by neural networks
• Title（参考訳）: SpecNet2: ニューラルネットワークによる直交化自由スペクトル埋め込み
• Authors: Ziyu Chen, Yingzhou Li, Xiuyuan Cheng
• Abstract要約: 本稿では、スペクトル埋め込みを計算するために、SpecNet2と呼ばれる新しいニューラルネットワークアプローチを提案する。 SpecNet2はまた、グラフ親和性行列の行と列のサンプリングを分離できる。 シミュレーションデータと画像データセット上でのSpecNet2の性能改善と計算効率を数値実験により実証した。
• 参考スコア（独自算出の注目度）: 11.688030627514532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spectral methods which represent data points by eigenvectors of kernel matrices or graph Laplacian matrices have been a primary tool in unsupervised data analysis. In many application scenarios, parametrizing the spectral embedding by a neural network that can be trained over batches of data samples gives a promising way to achieve automatic out-of-sample extension as well as computational scalability. Such an approach was taken in the original paper of SpectralNet (Shaham et al. 2018), which we call SpecNet1. The current paper introduces a new neural network approach, named SpecNet2, to compute spectral embedding which optimizes an equivalent objective of the eigen-problem and removes the orthogonalization layer in SpecNet1. SpecNet2 also allows separating the sampling of rows and columns of the graph affinity matrix by tracking the neighbors of each data point through the gradient formula. Theoretically, we show that any local minimizer of the new orthogonalization-free objective reveals the leading eigenvectors. Furthermore, global convergence for this new orthogonalization-free objective using a batch-based gradient descent method is proved. Numerical experiments demonstrate the improved performance and computational efficiency of SpecNet2 on simulated data and image datasets.
• Abstract（参考訳）: 核行列やグラフラプラシアン行列の固有ベクトルによるデータポイントを表すスペクトル法は教師なしデータ解析の主要なツールである。 多くのアプリケーションシナリオでは、データサンプルのバッチでトレーニング可能なニューラルネットワークによるスペクトル埋め込みをパラメータ化することで、自動アウト・オブ・サンプル拡張と計算スケーラビリティを実現する有望な方法が得られる。 このようなアプローチは、SpectralNet(Shaham et al. 2018)の最初の論文で取り上げられました。 本稿では,固有プロブレムの等価目的を最適化し,specnet1の直交層を除去したスペクトル埋め込みを計算するために,specnet2という新しいニューラルネットワーク手法を提案する。 specnet2はまた、勾配式を通じて各データポイントの近傍を追跡することで、グラフ親和行列の行と列のサンプリングを分離することができる。 理論的には、新しい直交化自由目的の任意の局所最小化器は、先頭の固有ベクトルを明らかにする。 さらに, バッチベース勾配勾配法による新しい直交化自由目標に対する大域収束性を示す。 シミュレーションデータと画像データセット上でのSpecNet2の性能改善と計算効率の実証実験を行った。

関連論文リスト

• A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features [54.83898311047626]
  2層から有限層まで線形に活性化するニューラルネットワークについて検討する。 まず, 分岐深さの離散辞書を用いたLassoモデルについて検討した。
  論文  参考訳（メタデータ） (2024-03-02T00:33:45Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
  本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。 次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
  論文  参考訳（メタデータ） (2023-03-09T10:08:34Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Semiparametric Bayesian Networks [5.205440005969871]
  パラメトリックおよび非パラメトリック条件付き確率分布を組み合わせた半パラメトリックベイズネットワークを提案する。 彼らの目的は、パラメトリックモデルの有界複雑性と非パラメトリックモデルの柔軟性を統合することである。
  論文  参考訳（メタデータ） (2021-09-07T11:47:32Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。