論文の概要: SeKron: A Decomposition Method Supporting Many Factorization Structures

• arxiv url: http://arxiv.org/abs/2210.06299v1
• Date: Wed, 12 Oct 2022 15:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:54:57.230433
• Title: SeKron: A Decomposition Method Supporting Many Factorization Structures
• Title（参考訳）: SeKron: 多くの因子構造をサポートする分解方法
• Authors: Marawan Gamal Abdel Hameed, Ali Mosleh, Marzieh S. Tahaei, Vahid Partovi Nia
• Abstract要約: SeKronは、多種多様な分解構造を提供する新しい分解法である。 我々は,すべてのSeKron構造で共有される効率的な畳み込みアルゴリズムを導出し,CNNモデルのシームレスな圧縮を実現する。
• 参考スコア（独自算出の注目度）: 3.5331294236033894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While convolutional neural networks (CNNs) have become the de facto standard for most image processing and computer vision applications, their deployment on edge devices remains challenging. Tensor decomposition methods provide a means of compressing CNNs to meet the wide range of device constraints by imposing certain factorization structures on their convolution tensors. However, being limited to the small set of factorization structures presented by state-of-the-art decomposition approaches can lead to sub-optimal performance. We propose SeKron, a novel tensor decomposition method that offers a wide variety of factorization structures, using sequences of Kronecker products. By recursively finding approximating Kronecker factors, we arrive at optimal decompositions for each of the factorization structures. We show that SeKron is a flexible decomposition that generalizes widely used methods, such as Tensor-Train (TT), Tensor-Ring (TR), Canonical Polyadic (CP) and Tucker decompositions. Crucially, we derive an efficient convolution projection algorithm shared by all SeKron structures, leading to seamless compression of CNN models. We validate SeKron for model compression on both high-level and low-level computer vision tasks and find that it outperforms state-of-the-art decomposition methods.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、ほとんどの画像処理やコンピュータビジョンアプリケーションのデファクトスタンダードとなっているが、エッジデバイスへの展開は依然として難しい。 テンソル分解法は、畳み込みテンソルに特定の因子分解構造を課すことで、幅広いデバイス制約を満たすためにcnnを圧縮する手段を提供する。 しかし、最先端の分解手法によって提示される小さな分解構造に制限されることは、準最適性能をもたらす可能性がある。 そこで我々は, Kronecker 生成物の配列を用いて, 様々な因子分解構造を提供する新しいテンソル分解法 SeKron を提案する。 近似クロネッカー因子を再帰的に発見することにより、各因子分解構造に対する最適分解に到達する。 SeKron は Tensor-Train (TT), Tensor-Ring (TR), Canonical Polyadic (CP), Tucker decompositions など,広く用いられている手法を一般化したフレキシブルな分解であることを示す。 重要なことは、全てのSeKron構造で共有される効率的な畳み込みプロジェクションアルゴリズムを導き、CNNモデルをシームレスに圧縮する。 高レベルコンピュータビジョンタスクと低レベルコンピュータビジョンタスクの両方におけるモデル圧縮についてsekronを検証する。

関連論文リスト

• Coefficient Decomposition for Spectral Graph Convolution [5.777396475319864]
  スペクトルグラフ畳み込みネットワーク(英: Spectral graph convolutional Network, SGCN)は、グラフ信号フィルタに基づくグラフニューラルネットワーク(GNN)の一種である。 本研究では,この係数上のテンソル分解CPとタッカーによるCoDeSGC-CPと-Tuckerの新たなスペクトルグラフ畳み込み法を開発した。
  論文  参考訳（メタデータ） (2024-05-06T09:17:23Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition [2.4240083226965115]
  我々は、クロネッカー積分解を一般化して層を圧縮し、多次元に応用し、一般化クロネッカー積分解(GKPD)へと導く。 当社のアプローチでは,任意の畳み込みレイヤのドロップイン代替として使用可能なプラグイン・アンド・プレイモジュールが生成される。
  論文  参考訳（メタデータ） (2021-09-29T20:45:08Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning [18.464203215845373]
  構造化3変量テンソルをその構成的ポリアディック(CP)因子に分解する問題を考察する。 我々は、構造化テンソル因子分解のための証明可能なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-06-30T00:31:06Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。