論文の概要: SVDinsTN: An Integrated Method for Tensor Network Representation with Efficient Structure Search

• arxiv url: http://arxiv.org/abs/2305.14912v2
• Date: Thu, 29 Jun 2023 13:49:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 18:57:22.006770
• Title: SVDinsTN: An Integrated Method for Tensor Network Representation with Efficient Structure Search
• Title（参考訳）: SVDinsTN:効率的な構造探索を用いたテンソルネットワーク表現の統合手法
• Authors: Yu-Bang Zheng, Xi-Le Zhao, Junhua Zeng, Chao Li, Qibin Zhao, Heng-Chao Li, Ting-Zhu Huang
• Abstract要約: SVDにインスパイアされたTN分解(SVDinsTN)という,効率的な統合(単一レベル)手法を提案する。 完全接続されたTNの各エッジに対角係数を挿入することにより、TNコアと対角因子を同時に計算し、最もコンパクトなTN構造を示す因子の空間性を明らかにする。 実世界のデータによる実験の結果、SVDinsTNは実行時に約10sim103$の加速を達成することが示された。
• 参考スコア（独自算出の注目度）: 38.3081060404849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor network (TN) representation is a powerful technique for data analysis and machine learning. It practically involves a challenging TN structure search (TN-SS) problem, which aims to search for the optimal structure to achieve a compact representation. Existing TN-SS methods mainly adopt a bi-level optimization method that leads to excessive computational costs due to repeated structure evaluations. To address this issue, we propose an efficient integrated (single-level) method named SVD-inspired TN decomposition (SVDinsTN), eliminating the need for repeated tedious structure evaluation. By inserting a diagonal factor for each edge of the fully-connected TN, we calculate TN cores and diagonal factors simultaneously, with factor sparsity revealing the most compact TN structure. Experimental results on real-world data demonstrate that SVDinsTN achieves approximately $10\sim{}10^3$ times acceleration in runtime compared to the existing TN-SS methods while maintaining a comparable level of representation ability.
• Abstract（参考訳）: テンソルネットワーク(TN)表現は、データ解析と機械学習の強力な技術である。 TN構造探索(TN-SS)の課題は、コンパクトな表現を実現するために最適な構造を探すことを目的としている。 既存のTN-SS法は主に、繰り返し構造評価によって計算コストが過大になる2段階最適化法を採用している。 この問題に対処するために,svd-inspired tn decomposition (svdinstn) という効率的な統合型(シングルレベル)手法を提案する。 完全接続されたTNの各エッジに対角係数を挿入することにより、TNコアと対角因子を同時に計算し、最もコンパクトなTN構造を示す因子の空間性を明らかにする。 実世界のデータを用いた実験結果から,SVDinsTNは既存のTN-SS法と比較して,実行時の約10\sim{}10^3$倍の加速を実現し,表現能力の水準を維持した。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• tnGPS: Discovering Unknown Tensor Network Structure Search Algorithms via Large Language Models (LLMs) [31.69308712027795]
  本研究では,大規模言語モデルを用いてテンソルネットワーク構造探索(TN-SS)アルゴリズムの自動探索を行う。 人間の研究者による研究の革新を観察することにより,tnGPSと呼ばれる自動アルゴリズム発見フレームワークを提案する。 提案するフレームワークは、LCMに反復的な改良と拡張を通じて新しいTN-SSアルゴリズムを生成するよう指示する精巧なプロンプトパイプラインである。
  論文  参考訳（メタデータ） (2024-02-04T12:06:13Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations [24.437786843413697]
  局所列挙法により各構造関連変数を交互に更新する新しいアルゴリズムであるTnALEを提案する。 我々は、TnALEが最先端のアルゴリズムよりもはるかに少ない評価で、事実上優れたTNランクと置換を見つけることができることを示した。
  論文  参考訳（メタデータ） (2023-04-25T14:45:59Z)
• Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
  本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
  論文  参考訳（メタデータ） (2022-06-14T05:12:49Z)
• Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
  この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。 テンソルは複数の低ランク成分の重ね合わせであると考える。 本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
  論文  参考訳（メタデータ） (2021-09-09T03:50:19Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network [53.47564132861866]
  マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。 キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。 8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
  論文  参考訳（メタデータ） (2020-02-03T02:58:00Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。