論文の概要: Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization

• arxiv url: http://arxiv.org/abs/2109.04697v1
• Date: Fri, 10 Sep 2021 07:01:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:24:14.257610
• Title: Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization
• Title（参考訳）: GDPA線形化による2値グラフ分類器の展開プロジェクションフリーSDP緩和
• Authors: Cheng Yang and Gene Cheung and Wai-tian Tan and Guangtao Zhai
• Abstract要約: アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
• 参考スコア（独自算出の注目度）: 59.87663954467815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Algorithm unfolding creates an interpretable and parsimonious neural network architecture by implementing each iteration of a model-based algorithm as a neural layer. However, unfolding a proximal splitting algorithm with a positive semi-definite (PSD) cone projection operator per iteration is expensive, due to the required full matrix eigen-decomposition. In this paper, leveraging a recent linear algebraic theorem called Gershgorin disc perfect alignment (GDPA), we unroll a projection-free algorithm for semi-definite programming relaxation (SDR) of a binary graph classifier, where the PSD cone constraint is replaced by a set of "tightest possible" linear constraints per iteration. As a result, each iteration only requires computing a linear program (LP) and one extreme eigenvector. Inside the unrolled network, we optimize parameters via stochastic gradient descent (SGD) that determine graph edge weights in two ways: i) a metric matrix that computes feature distances, and ii) a sparse weight matrix computed via local linear embedding (LLE). Experimental results show that our unrolled network outperformed pure model-based graph classifiers, and achieved comparable performance to pure data-driven networks but using far fewer parameters.
• Abstract（参考訳）: アルゴリズム展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で控えめなニューラルネットワークアーキテクチャを作成する。 しかしながら、正の半定値(psd)コーン射影演算子を反復毎に展開する近位分割アルゴリズムは、必要となる全行列固有分解のため高価である。 本稿では、Gershgorin disc perfect alignment (GDPA) と呼ばれる最近の線形代数定理を利用して、2進グラフ分類器の半定値プログラミング緩和(SDR)のための射影自由アルゴリズムをアンロールする。 その結果、各イテレーションは線形プログラム(LP)と1つの極端な固有ベクトルしか計算しない。 非ローリングネットワーク内では、グラフエッジ重みを決定する確率勾配勾配勾配(SGD)によってパラメータを最適化する。 一 特徴距離を演算する計量行列であって、 二 局所線形埋め込み(LLE)により計算されるスパース重み行列 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示した。

関連論文リスト

• Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
  我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。 適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。 また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-04T20:37:17Z)
• A GPU-Accelerated Bi-linear ADMM Algorithm for Distributed Sparse Machine Learning [4.258375398293221]
  Bi-cADMMは、計算ノードのネットワーク上で定義された大規模正規化されたスパース機械学習問題を解決することを目的としている。 Bi-cADMMはParallel Sparse Fitting Toolboxと呼ばれるオープンソースのPythonパッケージで実装されている。
  論文  参考訳（メタデータ） (2024-05-25T15:11:34Z)
• An Alternative Graphical Lasso Algorithm for Precision Matrices [0.0]
  本稿では,スパース精度行列を推定するためのDP-GLassoアルゴリズムを提案する。 正規化された正規対数型は自然に凸関数を最小化しやすい2つの和に分解するが、そのうちの1つはラッソ回帰問題である。 提案アルゴリズムは,最適化対象とする精度行列を最初から備えており,DP-GLassoアルゴリズムの良好な特性をすべて保持している。
  論文  参考訳（メタデータ） (2024-03-19T02:01:01Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Piecewise linear regression and classification [0.20305676256390928]
  本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。 本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
  論文  参考訳（メタデータ） (2021-03-10T17:07:57Z)
• Nonlinear system identification with regularized Tensor Network B-splines [2.817412580574242]
  The TNBS-NARX model is confirmed by the identified of the cascaded Watertank benchmark regular system。 標準的なデスクトップコンピュータ上で16次元のBスプライン面を4秒で識別しながら、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-03-17T09:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。