論文の概要: Adaptive Learning of Tensor Network Structures

• arxiv url: http://arxiv.org/abs/2008.05437v2
• Date: Tue, 22 Jun 2021 18:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 04:46:07.311687
• Title: Adaptive Learning of Tensor Network Structures
• Title（参考訳）: テンソルネットワーク構造の適応学習
• Authors: Meraj Hashemizadeh and Michelle Liu and Jacob Miller and Guillaume Rabusseau
• Abstract要約: 我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
• 参考スコア（独自算出の注目度）: 6.407946291544721
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor Networks (TN) offer a powerful framework to efficiently represent very high-dimensional objects. TN have recently shown their potential for machine learning applications and offer a unifying view of common tensor decomposition models such as Tucker, tensor train (TT) and tensor ring (TR). However, identifying the best tensor network structure from data for a given task is challenging. In this work, we leverage the TN formalism to develop a generic and efficient adaptive algorithm to jointly learn the structure and the parameters of a TN from data. Our method is based on a simple greedy approach starting from a rank one tensor and successively identifying the most promising tensor network edges for small rank increments. Our algorithm can adaptively identify TN structures with small number of parameters that effectively optimize any differentiable objective function. Experiments on tensor decomposition, tensor completion and model compression tasks demonstrate the effectiveness of the proposed algorithm. In particular, our method outperforms the state-of-the-art evolutionary topology search [Li and Sun, 2020] for tensor decomposition of images (while being orders of magnitude faster) and finds efficient tensor network structures to compress neural networks outperforming popular TT based approaches [Novikov et al., 2015].
• Abstract（参考訳）: テンソルネットワーク(TN)は、非常に高次元のオブジェクトを効率的に表現する強力なフレームワークを提供する。 TNは最近、機械学習応用の可能性を示し、タッカー、テンソルトレイン(TT)、テンソルリング(TR)といった一般的なテンソル分解モデルの統一ビューを提供している。 しかし、与えられたタスクのデータから最適なテンソルネットワーク構造を特定することは困難である。 本研究では、データからTNの構造とパラメータを共同学習するために、TN形式を利用して汎用的で効率的な適応アルゴリズムを開発する。 本手法は,階数1のテンソルから始まり,最も有望なテンソルネットワークエッジを小さなランクインクリメントで連続的に同定する単純な欲望アプローチに基づいている。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。 テンソル分解,テンソル補完,モデル圧縮タスクの実験により,提案アルゴリズムの有効性が示された。 特に,本手法は画像のテンソル分解における最先端の進化的トポロジ探索 [Li, Sun, 2020] より優れ(桁違いは桁違いに速い),ニューラルネットワークを圧縮するための効率的なテンソルネットワーク構造を見出した(Novikov et al., 2015)。

関連論文リスト

• Convolutions Through the Lens of Tensor Networks [2.6397379133308214]
  テンソルネットワーク(TN)による畳み込みの新しい視点を提供する。 TNは、ダイアグラムを描画し、関数変換、サブテンソルアクセス、融合を実行するためにそれらを操作することによって、基礎となるテンソル乗法を推論することができる。 種々のオートディフ演算の図式と2次情報の一般的な近似を導出することにより、この表現力を実証する。
  論文  参考訳（メタデータ） (2023-07-05T13:19:41Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression [10.067082377396586]
  本稿では,モデルサイズと分解構造を適応的に調整するスケーラビリティネットワーク(STN)を提案する。 STNは任意のネットワークアーキテクチャと互換性があり、他のテンソル化バージョンよりも高い圧縮性能と柔軟性を実現する。
  論文  参考訳（メタデータ） (2022-05-30T15:50:48Z)
• Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
  この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。 テンソルは複数の低ランク成分の重ね合わせであると考える。 本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
  論文  参考訳（メタデータ） (2021-09-09T03:50:19Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。