論文の概要: Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization
- arxiv url: http://arxiv.org/abs/2109.04697v1
- Date: Fri, 10 Sep 2021 07:01:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-13 13:24:14.257610
- Title: Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via
GDPA Linearization
- Title(参考訳): GDPA線形化による2値グラフ分類器の展開プロジェクションフリーSDP緩和
- Authors: Cheng Yang and Gene Cheung and Wai-tian Tan and Guangtao Zhai
- Abstract要約: アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。
本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
- 参考スコア(独自算出の注目度): 59.87663954467815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Algorithm unfolding creates an interpretable and parsimonious neural network
architecture by implementing each iteration of a model-based algorithm as a
neural layer. However, unfolding a proximal splitting algorithm with a positive
semi-definite (PSD) cone projection operator per iteration is expensive, due to
the required full matrix eigen-decomposition. In this paper, leveraging a
recent linear algebraic theorem called Gershgorin disc perfect alignment
(GDPA), we unroll a projection-free algorithm for semi-definite programming
relaxation (SDR) of a binary graph classifier, where the PSD cone constraint is
replaced by a set of "tightest possible" linear constraints per iteration. As a
result, each iteration only requires computing a linear program (LP) and one
extreme eigenvector. Inside the unrolled network, we optimize parameters via
stochastic gradient descent (SGD) that determine graph edge weights in two
ways: i) a metric matrix that computes feature distances, and ii) a sparse
weight matrix computed via local linear embedding (LLE). Experimental results
show that our unrolled network outperformed pure model-based graph classifiers,
and achieved comparable performance to pure data-driven networks but using far
fewer parameters.
- Abstract(参考訳): アルゴリズム展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で控えめなニューラルネットワークアーキテクチャを作成する。
しかしながら、正の半定値(psd)コーン射影演算子を反復毎に展開する近位分割アルゴリズムは、必要となる全行列固有分解のため高価である。
本稿では、Gershgorin disc perfect alignment (GDPA) と呼ばれる最近の線形代数定理を利用して、2進グラフ分類器の半定値プログラミング緩和(SDR)のための射影自由アルゴリズムをアンロールする。
その結果、各イテレーションは線形プログラム(LP)と1つの極端な固有ベクトルしか計算しない。
非ローリングネットワーク内では、グラフエッジ重みを決定する確率勾配勾配勾配(SGD)によってパラメータを最適化する。
一 特徴距離を演算する計量行列であって、
二 局所線形埋め込み(LLE)により計算されるスパース重み行列
実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示した。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
我々はロバスト成分分析のためのアルゴリズムを設計する(A)
行列を低主行列とスパース主行列の和に分解する。
論文 参考訳(メタデータ) (2023-07-12T03:48:26Z) - SpecNet2: Orthogonalization-free spectral embedding by neural networks [11.688030627514532]
本稿では、スペクトル埋め込みを計算するために、SpecNet2と呼ばれる新しいニューラルネットワークアプローチを提案する。
SpecNet2はまた、グラフ親和性行列の行と列のサンプリングを分離できる。
シミュレーションデータと画像データセット上でのSpecNet2の性能改善と計算効率を数値実験により実証した。
論文 参考訳(メタデータ) (2022-06-14T07:19:10Z) - High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
共分散行列の明示的な構成を避ける新しい推論手法を提案する。
本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。
いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
論文 参考訳(メタデータ) (2022-02-25T16:35:26Z) - Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-02T01:08:29Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - Coordinate Linear Variance Reduction for Generalized Linear Programming [27.365677554732304]
この問題における線形構造は、効率的でスケーラブルな1次アルゴリズムの設計に利用できることを示す。
textscclvr はスペクトルノルムではなく、線形制約行列 (GLP) の最大行ノルムに依存する(GLP) に対して、より複雑な結果をもたらす。
論文 参考訳(メタデータ) (2021-11-02T18:57:23Z) - Why Approximate Matrix Square Root Outperforms Accurate SVD in Global
Covariance Pooling? [59.820507600960745]
本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。
提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2021-05-06T08:03:45Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳(メタデータ) (2021-03-10T17:07:57Z) - Nonlinear system identification with regularized Tensor Network
B-splines [2.817412580574242]
The TNBS-NARX model is confirmed by the identified of the cascaded Watertank benchmark regular system。
標準的なデスクトップコンピュータ上で16次元のBスプライン面を4秒で識別しながら、最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-03-17T09:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。