論文の概要: Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search

• arxiv url: http://arxiv.org/abs/2408.06024v1
• Date: Mon, 12 Aug 2024 09:24:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 13:35:58.263778
• Title: Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search
• Title（参考訳）: 層比最適化:感度に基づく畳み込み層に基づく基底探索
• Authors: Vasiliy Alekseev, Ilya Lukashevich, Ilia Zharikov, Ilya Vasiliev,
• Abstract要約: 畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。 この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。 ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural network models have a complex architecture and are overparameterized. The number of parameters is more than the whole dataset, which is highly resource-consuming. This complicates their application and limits its usage on different devices. Reduction in the number of network parameters helps to reduce the size of the model, but at the same time, thoughtlessly applied, can lead to a deterioration in the quality of the network. One way to reduce the number of model parameters is matrix decomposition, where a matrix is represented as a product of smaller matrices. In this paper, we propose a new way of applying the matrix decomposition with respect to the weights of convolutional layers. The essence of the method is to train not all convolutions, but only the subset of convolutions (basis convolutions), and represent the rest as linear combinations of the basis ones. Experiments on models from the ResNet family and the CIFAR-10 dataset demonstrate that basis convolutions can not only reduce the size of the model but also accelerate the forward and backward passes of the network. Another contribution of this work is that we propose a fast method for selecting a subset of network layers in which the use of matrix decomposition does not degrade the quality of the final model.
• Abstract（参考訳）: ディープニューラルネットワークモデルは複雑なアーキテクチャを持ち、過パラメータ化されている。 パラメータの数はデータセット全体よりも多く、非常にリソースを消費します。 これにより、アプリケーションを複雑化し、異なるデバイスでの使用を制限する。 ネットワークパラメータ数の削減は、モデルのサイズを減らすのに役立つが、同時に、思慮せずに適用することで、ネットワークの品質が低下する可能性がある。 モデルパラメータの数を減らす一つの方法は行列分解であり、行列はより小さい行列の積として表される。 本稿では,畳み込み層の重みに関して行列分解を適用する新しい方法を提案する。 この方法の本質は、すべての畳み込みを訓練するだけでなく、畳み込みのサブセット(基底畳み込み)のみを訓練し、残りを基底の線形結合として表現することである。 ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。 この研究のもう1つの貢献は、行列分解を用いて最終モデルの品質を劣化させないネットワーク層のサブセットを選択する高速な方法を提案することである。

関連論文リスト

• Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization [0.0]
  重み行列を2つのスパース行列に分解するDouble Sparse Factorization(DSF)を提案する。 提案手法は最先端の結果を達成し,従来のニューラルネットワークのスペーサー化を可能にした。
  論文  参考訳（メタデータ） (2024-09-27T15:48:39Z)
• Input Guided Multiple Deconstruction Single Reconstruction neural network models for Matrix Factorization [0.0]
  本稿では,非負行列因子化(NMF)の概念に基づく2つのモデルを開発する。 彼らは、一対の係数行列を定め、その低階近似を発見して高次元データを扱うことを目指している。 次元削減の必要性を正当化する原データよりも低次元埋め込みの方が優れていることが確認された。
  論文  参考訳（メタデータ） (2024-05-22T08:41:32Z)
• Lite it fly: An All-Deformable-Butterfly Network [7.8460795568982435]
  ほとんどのディープニューラルネットワーク(DNN)は、基本的に畳み込み層と/または完全に接続された層で構成されている。 最近提案された変形可能な蝶(DeBut)は、フィルター行列を一般化された蝶様因子に分解する。 この研究は、DeButと奥行きと点方向の畳み込みの体系的な階層との親密な関係を明らかにしている。
  論文  参考訳（メタデータ） (2023-11-14T12:41:22Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• A Structured Sparse Neural Network and Its Matrix Calculations Algorithm [0.0]
  非対称な三対角行列を導入し, 対角方向のスパース成分とオフセット部分および超対角線を導入した。 行列逆が存在しない場合には、最小二乗型擬逆が提供される。 その結果,行列のサイズが大きくなると計算コストが著しく向上することがわかった。
  論文  参考訳（メタデータ） (2022-07-02T19:38:48Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。