論文の概要: SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective

• arxiv url: http://arxiv.org/abs/2305.14912v5
• Date: Fri, 5 Apr 2024 09:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 00:53:45.530822
• Title: SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective
• Title（参考訳）: SVDinsTN:正規化モデリングの観点からの効率的な構造探索のためのテンソルネットワークパラダイム
• Authors: Yu-Bang Zheng, Xi-Le Zhao, Junhua Zeng, Chao Li, Qibin Zhao, Heng-Chao Li, Ting-Zhu Huang,
• Abstract要約: ネットワーク(TN)表現はコンピュータビジョンと機械学習の強力な技術である。 TN構造探索(TN-SS)は、コンパクトな表現を実現するためにカスタマイズされた構造を探すことを目的としている。 SVD-インスパイアされたTN分解(SVDinsTN)と呼ばれる新しいTNパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 41.62808372395741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor network (TN) representation is a powerful technique for computer vision and machine learning. TN structure search (TN-SS) aims to search for a customized structure to achieve a compact representation, which is a challenging NP-hard problem. Recent "sampling-evaluation"-based methods require sampling an extensive collection of structures and evaluating them one by one, resulting in prohibitively high computational costs. To address this issue, we propose a novel TN paradigm, named SVD-inspired TN decomposition (SVDinsTN), which allows us to efficiently solve the TN-SS problem from a regularized modeling perspective, eliminating the repeated structure evaluations. To be specific, by inserting a diagonal factor for each edge of the fully-connected TN, SVDinsTN allows us to calculate TN cores and diagonal factors simultaneously, with the factor sparsity revealing a compact TN structure. In theory, we prove a convergence guarantee for the proposed method. Experimental results demonstrate that the proposed method achieves approximately 100 to 1000 times acceleration compared to the state-of-the-art TN-SS methods while maintaining a comparable level of representation ability.
• Abstract（参考訳）: テンソルネットワーク(TN)表現はコンピュータビジョンと機械学習の強力な技術である。 TN構造探索(TN-SS)は、コンパクトな表現を実現するためにカスタマイズされた構造を探すことを目的としている。 最近の「サンプル評価」に基づく手法では、広範囲な構造の収集をサンプリングし、それらを一つずつ評価する必要があるため、計算コストは極めて高い。 この問題を解決するために,SVD-インスパイアされたTN分解(SVDinsTN)と呼ばれる新しいTNパラダイムを提案する。 具体的には、完全に接続されたTNの各エッジに対角係数を挿入することにより、SVDinsTNはTNコアと対角因子を同時に計算し、コンパクトなTN構造を明らかにする。 理論的には,提案手法の収束保証を証明する。 実験の結果,提案手法は最先端のTN-SS法と比較して約100～1000倍の高速化を実現し,表現能力は同等であることがわかった。

関連論文リスト

• tnGPS: Discovering Unknown Tensor Network Structure Search Algorithms via Large Language Models (LLMs) [31.69308712027795]
  本研究では,大規模言語モデルを用いてテンソルネットワーク構造探索(TN-SS)アルゴリズムの自動探索を行う。 人間の研究者による研究の革新を観察することにより,tnGPSと呼ばれる自動アルゴリズム発見フレームワークを提案する。 提案するフレームワークは、LCMに反復的な改良と拡張を通じて新しいTN-SSアルゴリズムを生成するよう指示する精巧なプロンプトパイプラインである。
  論文  参考訳（メタデータ） (2024-02-04T12:06:13Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations [24.437786843413697]
  局所列挙法により各構造関連変数を交互に更新する新しいアルゴリズムであるTnALEを提案する。 我々は、TnALEが最先端のアルゴリズムよりもはるかに少ない評価で、事実上優れたTNランクと置換を見つけることができることを示した。
  論文  参考訳（メタデータ） (2023-04-25T14:45:59Z)
• Permutation Search of Tensor Network Structures via Local Sampling [27.155329364896144]
  本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
  論文  参考訳（メタデータ） (2022-06-14T05:12:49Z)
• Multi-Tensor Network Representation for High-Order Tensor Completion [25.759851542474447]
  この研究は、部分的に観察されたサンプリングから高次元データ(テンソルを参照)の完備化の問題を研究する。 テンソルは複数の低ランク成分の重ね合わせであると考える。 本稿では,基本テンソル分解フレームワークであるMulti-Tensor Network decomposition (MTNR)を提案する。
  論文  参考訳（メタデータ） (2021-09-09T03:50:19Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network [53.47564132861866]
  マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。 キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。 8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
  論文  参考訳（メタデータ） (2020-02-03T02:58:00Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。