論文の概要: T-Basis: a Compact Representation for Neural Networks
- arxiv url: http://arxiv.org/abs/2007.06631v2
- Date: Tue, 13 Jul 2021 17:34:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:39:02.054776
- Title: T-Basis: a Compact Representation for Neural Networks
- Title（参考訳）: T-Basis: ニューラルネットワークのコンパクト表現
- Authors: Anton Obukhov, Maxim Rakhuba, Stamatios Georgoulis, Menelaos Kanakis,
Dengxin Dai, Luc Van Gool
- Abstract要約: テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
- 参考スコア（独自算出の注目度）: 89.86997385827055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce T-Basis, a novel concept for a compact representation of a set
of tensors, each of an arbitrary shape, which is often seen in Neural Networks.
Each of the tensors in the set is modeled using Tensor Rings, though the
concept applies to other Tensor Networks. Owing its name to the T-shape of
nodes in diagram notation of Tensor Rings, T-Basis is simply a list of equally
shaped three-dimensional tensors, used to represent Tensor Ring nodes. Such
representation allows us to parameterize the tensor set with a small number of
parameters (coefficients of the T-Basis tensors), scaling logarithmically with
each tensor's size in the set and linearly with the dimensionality of T-Basis.
We evaluate the proposed approach on the task of neural network compression and
demonstrate that it reaches high compression rates at acceptable performance
drops. Finally, we analyze memory and operation requirements of the compressed
networks and conclude that T-Basis networks are equally well suited for
training and inference in resource-constrained environments and usage on the
edge devices.
- Abstract（参考訳）: テンソルの集合をコンパクトに表現するための新しい概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
集合内の各テンソルはテンソル環を用いてモデル化されるが、概念は他のテンソルネットワークにも適用される。
テンソル環の図式表記におけるノードの t-形の名前から、t-basis はテンソル環のノードを表すために用いられる等角形の三次元テンソルのリストである。
このような表現により、少数のパラメータ(T-バシステンソルの係数)でテンソル集合をパラメータ化し、集合における各テンソルのサイズと対数的にスケールし、T-バシスの次元と線形にスケールすることができる。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
最後に,圧縮ネットワークのメモリと動作要件を分析し,t-basisネットワークがリソース制約のある環境でのトレーニングや推論やエッジデバイス上での使用に等しく適していると結論づける。
関連論文リスト
- Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Tensor Network States with Low-Rank Tensors [6.385624548310884]
テンソルネットワークを構成するテンソルに低ランク制約を課すという考え方を導入する。
この修正により、ネットワーク最適化の時間と複雑さを大幅に削減できる。
テンソル階数 $r$ を$m$ の順序で選ぶことは、高い精度の基底状態近似を得るのに十分である。
論文 参考訳（メタデータ） (2022-05-30T17:58:16Z) - Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。
我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
論文 参考訳（メタデータ） (2021-11-02T15:55:07Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - A Fully Tensorized Recurrent Neural Network [48.50376453324581]
重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。
このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
論文 参考訳（メタデータ） (2020-10-08T18:24:12Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳（メタデータ） (2020-08-12T16:41:56Z) - Anomaly Detection with Tensor Networks [2.3895981099137535]
テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。
画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
論文 参考訳（メタデータ） (2020-06-03T20:41:30Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。