論文の概要: T-Basis: a Compact Representation for Neural Networks
- arxiv url: http://arxiv.org/abs/2007.06631v2
- Date: Tue, 13 Jul 2021 17:34:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:39:02.054776
- Title: T-Basis: a Compact Representation for Neural Networks
- Title（参考訳）: T-Basis: ニューラルネットワークのコンパクト表現
- Authors: Anton Obukhov, Maxim Rakhuba, Stamatios Georgoulis, Menelaos Kanakis,
Dengxin Dai, Luc Van Gool
- Abstract要約: テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
- 参考スコア（独自算出の注目度）: 89.86997385827055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce T-Basis, a novel concept for a compact representation of a set
of tensors, each of an arbitrary shape, which is often seen in Neural Networks.
Each of the tensors in the set is modeled using Tensor Rings, though the
concept applies to other Tensor Networks. Owing its name to the T-shape of
nodes in diagram notation of Tensor Rings, T-Basis is simply a list of equally
shaped three-dimensional tensors, used to represent Tensor Ring nodes. Such
representation allows us to parameterize the tensor set with a small number of
parameters (coefficients of the T-Basis tensors), scaling logarithmically with
each tensor's size in the set and linearly with the dimensionality of T-Basis.
We evaluate the proposed approach on the task of neural network compression and
demonstrate that it reaches high compression rates at acceptable performance
drops. Finally, we analyze memory and operation requirements of the compressed
networks and conclude that T-Basis networks are equally well suited for
training and inference in resource-constrained environments and usage on the
edge devices.
- Abstract（参考訳）: テンソルの集合をコンパクトに表現するための新しい概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。
集合内の各テンソルはテンソル環を用いてモデル化されるが、概念は他のテンソルネットワークにも適用される。
テンソル環の図式表記におけるノードの t-形の名前から、t-basis はテンソル環のノードを表すために用いられる等角形の三次元テンソルのリストである。
このような表現により、少数のパラメータ(T-バシステンソルの係数)でテンソル集合をパラメータ化し、集合における各テンソルのサイズと対数的にスケールし、T-バシスの次元と線形にスケールすることができる。
ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
最後に,圧縮ネットワークのメモリと動作要件を分析し,t-basisネットワークがリソース制約のある環境でのトレーニングや推論やエッジデバイス上での使用に等しく適していると結論づける。
関連論文リスト
- Compressing multivariate functions with tree tensor networks [0.0]
1次元テンソルネットワークは、連続関数の数値アンザッツとしてますます利用されている。
構造木テンソルネットワークが、一般的に使用されるテンソルトレインよりもはるかに効率的なアンザッツを提供することを示す。
論文 参考訳（メタデータ） (2024-10-04T16:20:52Z) - Loop Series Expansions for Tensor Networks [0.2796197251957244]
本稿では,テンソルネットワークの収縮に対するBP近似の精度を向上させるために,ループ列展開を適用する方法について述べる。
我々は、AKLTモデルの基底状態を表すiPEPSの縮約に関するこの提案を、ランダムに定義されたテンソルでベンチマークする。
論文 参考訳（メタデータ） (2024-09-04T22:22:35Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Tensor Network Computations That Capture Strict Variationality, Volume Law Behavior, and the Efficient Representation of Neural Network States [0.6148049086034199]
本稿では,振幅の収縮の計算グラフによって定義されるテンソルネットワーク状態の視点変化を紹介する。
結果として得られる状態のクラスはテンソルネットワーク関数と呼ばれ、テンソルネットワーク状態の概念上の利点を継承し、近似された収縮を収束させる必要から生じる計算的制約を除去する。
テンソルネットワーク関数を用いて、ループグラフ上のエネルギーの厳密な変動推定を計算し、基底状態の表現力を解析し、体積法則の時間進化の側面を捉え、一般的なフィードフォワードニューラルネットワークの効率的なテンソルネットワーク関数へのマッピングを提供する。
論文 参考訳（メタデータ） (2024-05-06T19:04:13Z) - "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳（メタデータ） (2022-11-26T07:41:48Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Adaptive Learning of Tensor Network Structures [6.407946291544721]
我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。
本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
論文 参考訳（メタデータ） (2020-08-12T16:41:56Z) - Supervised Learning for Non-Sequential Data: A Canonical Polyadic
Decomposition Approach [85.12934750565971]
特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。
この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。
表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
論文 参考訳（メタデータ） (2020-01-27T22:38:40Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。