論文の概要: Differentiable Learning of Generalized Structured Matrices for Efficient
Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2310.18882v2
- Date: Fri, 8 Mar 2024 02:13:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-11 23:17:01.508256
- Title: Differentiable Learning of Generalized Structured Matrices for Efficient
Deep Neural Networks
- Title(参考訳): ニューラルネットワークのための一般化構造行列の微分学習
- Authors: Changwoo Lee, Hun-Seok Kim
- Abstract要約: 本稿では,高密度非構造体を所望の特性を持つ構造体に置き換えるための効率的なディープニューラルネットワーク(DNN)について検討する。
この課題は、一般的なニューラルネットワークモデルにおける最適な重み行列構造がほとんどの場合不明瞭であり、同じネットワークであっても層ごとに異なるためである。
本稿では,勾配降下による重み行列の効率的な構造を学習するための一般化および微分可能なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.546708806547137
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates efficient deep neural networks (DNNs) to replace
dense unstructured weight matrices with structured ones that possess desired
properties. The challenge arises because the optimal weight matrix structure in
popular neural network models is obscure in most cases and may vary from layer
to layer even in the same network. Prior structured matrices proposed for
efficient DNNs were mostly hand-crafted without a generalized framework to
systematically learn them. To address this issue, we propose a generalized and
differentiable framework to learn efficient structures of weight matrices by
gradient descent. We first define a new class of structured matrices that
covers a wide range of structured matrices in the literature by adjusting the
structural parameters. Then, the frequency-domain differentiable
parameterization scheme based on the Gaussian-Dirichlet kernel is adopted to
learn the structural parameters by proximal gradient descent. On the image and
language tasks, our method learns efficient DNNs with structured matrices,
achieving lower complexity and/or higher performance than prior approaches that
employ low-rank, block-sparse, or block-low-rank matrices.
- Abstract(参考訳): 本稿では,非構造重み行列を望ましい特性を持つ構造行列に置き換える効率的な深層ニューラルネットワーク(dnn)について検討する。
この課題は、一般的なニューラルネットワークモデルにおける最適な重み行列構造がほとんどの場合不明瞭であり、同じネットワークであっても層ごとに異なるためである。
効率的なDNNを提案する以前の構造化行列は、体系的に学習するための一般化されたフレームワークなしで手作りされていた。
この問題に対処するために、勾配降下による重量行列の効率的な構造を学習するための一般化および微分可能なフレームワークを提案する。
まず,構造パラメータの調整により,多種多様な構造化行列を対象とする構造化行列の新たなクラスを文献で定義する。
次に、gaussian-dirichletカーネルに基づく周波数領域微分可能パラメータ化スキームを採用し、近位勾配降下により構造パラメータを学習する。
画像と言語タスクでは, 構造化行列を用いた効率的なDNNを学習し, 低ランク, ブロックスパース, ブロックローランクの行列を用いた従来の手法よりも, より少ない複雑性および/または高い性能を実現する。
関連論文リスト
- Implicit Regularization via Spectral Neural Networks and Non-linear
Matrix Sensing [2.171120568435925]
スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。
SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。
我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
論文 参考訳(メタデータ) (2024-02-27T15:28:01Z) - MG-GNN: Multigrid Graph Neural Networks for Learning Multilevel Domain
Decomposition Methods [0.0]
2レベル領域分割法において最適化されたパラメータを学習するためのマルチグリッドグラフニューラルネットワーク(MG-GNN)を提案する。
MG-GNNは、この最適化のために人気のある階層グラフネットワークアーキテクチャよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-01-26T19:44:45Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳(メタデータ) (2022-11-22T16:30:33Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2022-10-23T18:37:22Z) - A Structured Sparse Neural Network and Its Matrix Calculations Algorithm [0.0]
非対称な三対角行列を導入し, 対角方向のスパース成分とオフセット部分および超対角線を導入した。
行列逆が存在しない場合には、最小二乗型擬逆が提供される。
その結果,行列のサイズが大きくなると計算コストが著しく向上することがわかった。
論文 参考訳(メタデータ) (2022-07-02T19:38:48Z) - Equivariant neural networks for recovery of Hadamard matrices [0.7742297876120561]
本稿では,行列の列と行の置換に同値であるように設計されたメッセージパッシングニューラルネットワークアーキテクチャを提案する。
マルチレイヤパーセプトロン(MLP)、畳み込みニューラルネットワーク(CNN)、さらにはトランスフォーマーといった従来のアーキテクチャに対する利点を説明している。
論文 参考訳(メタデータ) (2022-01-31T12:07:07Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳(メタデータ) (2020-08-06T04:38:38Z) - Block-encoding based quantum algorithm for linear systems with
displacement structures [4.145426157018113]
本稿では, 変位構造を持つ線形系を解くために, 効率よく, メモリリデュースした量子アルゴリズムを提案する。
提案したブロックエンコーディングは、古典的アルゴリズムの次元に関して二次的なスピードアップを提供する。
量子線形系の解法の一つを時系列の線形予測に適用する。
論文 参考訳(メタデータ) (2019-12-27T16:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。