論文の概要: Asymptotic Singular Value Distribution of Linear Convolutional Layers

• arxiv url: http://arxiv.org/abs/2006.07117v1
• Date: Fri, 12 Jun 2020 12:21:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:49:53.558944
• Title: Asymptotic Singular Value Distribution of Linear Convolutional Layers
• Title（参考訳）: 線形畳み込み層の漸近特異値分布
• Authors: Xinping Yi
• Abstract要約: 畳み込みニューラルネットワークでは、線形畳み込みを伴う畳み込み層の線形変換は2倍のToeplitzブロックを持つブロック行列である。 円形近似の精度を向上した単純な特異値近似法を開発した。 また,スペクトルノルム上限上限はResNetの一般化性能向上に有効なスペクトル正規化器であることを示す。
• 参考スコア（独自算出の注目度）: 19.471693124432022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In convolutional neural networks, the linear transformation of multi-channel two-dimensional convolutional layers with linear convolution is a block matrix with doubly Toeplitz blocks. Although a "wrapping around" operation can transform linear convolution to a circular one, by which the singular values can be approximated with reduced computational complexity by those of a block matrix with doubly circulant blocks, the accuracy of such an approximation is not guaranteed. In this paper, we propose to inspect such a linear transformation matrix through its asymptotic spectral representation - the spectral density matrix - by which we develop a simple singular value approximation method with improved accuracy over the circular approximation, as well as upper bounds for spectral norm with reduced computational complexity. Compared with the circular approximation, we obtain moderate improvement with a subtle adjustment of the singular value distribution. We also demonstrate that the spectral norm upper bounds are effective spectral regularizers for improving generalization performance in ResNets.
• Abstract（参考訳）: 畳み込みニューラルネットワークでは、線形畳み込みを伴う多チャンネル2次元畳み込み層の線形変換は、二重Toeplitzブロックを持つブロック行列である。 絡み合う」演算は線形畳み込みを円形の畳み込みに変換することができるが、この特異値は二重循環ブロックを持つブロック行列の計算複雑性を減少させることで近似できるが、そのような近似の精度は保証されない。 本稿では,このような線形変換行列を,その漸近スペクトル表現であるスペクトル密度行列(スペクトル密度行列)を用いて検討し,円近似の精度を向上した単純な特異値近似法と,計算複雑性を低減したスペクトルノルムの上界について検討する。 円近似と比較して,特異値分布の微調整により適度な改善が得られた。 また,スペクトルノルム上限上限はResNetの一般化性能向上に有効なスペクトル正規化器であることを示す。

関連論文リスト

• A Random Matrix Approach to Low-Multilinear-Rank Tensor Approximation [24.558241146742205]
  本研究では,データテンソルの展開のスペクトルの多次元的挙動を特徴付け,信号の主方向の検出性を決定する関連信号-雑音比を示す。 その結果,非自明な状態下でのマルチリニアSVD (MLSVD) の再構成性能を正確に予測することができた。
  論文  参考訳（メタデータ） (2024-02-05T16:38:30Z)
• Exponentiation of Parametric Hamiltonians via Unitary interpolation [0.8399688944263842]
  線形多重パラメトリックハミルトニアンの行列指数の時間効率近似に関する2つのアイデアを紹介する。 我々は,スズキ・トロッターの積公式を近似からコンパイル方式に修正し,精度と計算時間の両方を改善する。
  論文  参考訳（メタデータ） (2024-02-02T15:29:55Z)
• Linear Convergence of ISTA and FISTA [8.261388753972234]
  疎表現を用いた線形逆問題の解法として,反復縮小保持アルゴリズム (ISTA) のクラスを再検討する。 滑らかな部分を凸とする以前の仮定は最小二乗モデルを弱める。 目的値と2乗近位下次ノルムの両方において、線形収束を合成最適化に一般化する。
  論文  参考訳（メタデータ） (2022-12-13T02:02:50Z)
• Precise Asymptotics for Spectral Methods in Mixed Generalized Linear Models [31.58736590532443]
  混合一般化線形モデルにおいて、統計的に独立な2つの信号を推定する問題を考える。 我々の特徴付けは、ランダム行列、自由確率、および近似メッセージパッシングアルゴリズムの理論からのツールの混合を利用する。
  論文  参考訳（メタデータ） (2022-11-21T11:35:25Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Exact Linear Convergence Rate Analysis for Low-Rank Symmetric Matrix Completion via Gradient Descent [22.851500417035947]
  因数分解に基づく勾配降下は、因数分解行列の完備化を解くためのスケーラブルで効率的なアルゴリズムである。 勾配勾配降下は, 地球自然問題の解を推定するために, 高速収束を楽しむことを示す。
  論文  参考訳（メタデータ） (2021-02-04T03:41:54Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Controllable Orthogonalization in Training DNNs [96.1365404059924]
  直交性はディープニューラルネットワーク(DNN)のトレーニングに広く用いられている。 本稿では,ニュートン反復(ONI)を用いた計算効率が高く,数値的に安定な直交化法を提案する。 本稿では,画像分類ネットワークの性能向上のために,最適化の利点と表現能力の低下との間に最適なトレードオフを与えるために,直交性を効果的に制御する手法を提案する。 また、ONIは、スペクトル正規化と同様に、ネットワークのリプシッツ連続性を維持することにより、GAN(Generative Adversarial Network)のトレーニングを安定化させることを示した。
  論文  参考訳（メタデータ） (2020-04-02T10:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。