論文の概要: Permutation Search of Tensor Network Structures via Local Sampling

• arxiv url: http://arxiv.org/abs/2206.06597v1
• Date: Tue, 14 Jun 2022 05:12:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 05:06:33.543099
• Title: Permutation Search of Tensor Network Structures via Local Sampling
• Title（参考訳）: 局所サンプリングによるテンソルネットワーク構造の置換探索
• Authors: Chao Li, Junhua Zeng, Zerui Tao, Qibin Zhao
• Abstract要約: 本稿では,TN置換探索 (TN-PS) と呼ばれるTN-SSの実用的変種について考察する。 本稿では,TN-PSの問題を解決するために,実用的なアルゴリズムを提案する。 数値計算により,新しいアルゴリズムは,広範囲なベンチマークにおいて,TNの必要モデルサイズを削減できることが示されている。
• 参考スコア（独自算出の注目度）: 27.155329364896144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works put much effort into tensor network structure search (TN-SS), aiming to select suitable tensor network (TN) structures, involving the TN-ranks, formats, and so on, for the decomposition or learning tasks. In this paper, we consider a practical variant of TN-SS, dubbed TN permutation search (TN-PS), in which we search for good mappings from tensor modes onto TN vertices (core tensors) for compact TN representations. We conduct a theoretical investigation of TN-PS and propose a practically-efficient algorithm to resolve the problem. Theoretically, we prove the counting and metric properties of search spaces of TN-PS, analyzing for the first time the impact of TN structures on these unique properties. Numerically, we propose a novel meta-heuristic algorithm, in which the searching is done by randomly sampling in a neighborhood established in our theory, and then recurrently updating the neighborhood until convergence. Numerical results demonstrate that the new algorithm can reduce the required model size of TNs in extensive benchmarks, implying the improvement in the expressive power of TNs. Furthermore, the computational cost for the new algorithm is significantly less than that in~\cite{li2020evolutionary}.
• Abstract（参考訳）: 最近の研究はテンソルネットワーク構造探索(TN-SS)に多大な努力を払っており、TNランクやフォーマットなどを含む適切なテンソルネットワーク構造を選択することを目的としている。 本稿では、テンソルモードからTN頂点(コアテンソル)への良好な写像を求めるTN-SSの実用的変種TN-PSについて考察する。 我々は,tn-psの理論的検討を行い,この問題を効果的に解決するアルゴリズムを提案する。 理論的には、TN-PSの探索空間のカウントと計量特性を証明し、TN構造がこれらのユニークな性質に与える影響を初めて解析する。 そこで,本理論で確立された近傍をランダムにサンプリングし,収束するまで再帰的に近傍を更新することにより探索を行う,新しいメタヒューリスティックアルゴリズムを提案する。 数値計算の結果,新しいアルゴリズムはtnsのモデルサイズを広範囲なベンチマークで削減できることが示され,tnsの表現力の向上が示唆された。 さらに、新しいアルゴリズムの計算コストは~\cite{li2020evolutionary} の計算コストよりも大幅に低い。

関連論文リスト

• Automatic Structural Search of Tensor Network States including Entanglement Renormalization [0.0]
  絡み合い再正規化を含むネットワーク状態は、より広範な絡み合い状態を含むことができる。 高い計算コストとアルゴリズムの柔軟性の欠如のため、ERの構造的な探索はまだ示されていない。 本研究では, 変動エネルギーに関する局所構造の再構築に基づいて, ERを含むTNの最適構造探索を行った。
  論文  参考訳（メタデータ） (2024-05-10T15:24:10Z)
• tnGPS: Discovering Unknown Tensor Network Structure Search Algorithms via Large Language Models (LLMs) [31.69308712027795]
  本研究では,大規模言語モデルを用いてテンソルネットワーク構造探索(TN-SS)アルゴリズムの自動探索を行う。 人間の研究者による研究の革新を観察することにより,tnGPSと呼ばれる自動アルゴリズム発見フレームワークを提案する。 提案するフレームワークは、LCMに反復的な改良と拡張を通じて新しいTN-SSアルゴリズムを生成するよう指示する精巧なプロンプトパイプラインである。
  論文  参考訳（メタデータ） (2024-02-04T12:06:13Z)
• LC-TTFS: Towards Lossless Network Conversion for Spiking Neural Networks with TTFS Coding [55.64533786293656]
  我々は,AIタスクにおいて,ANNのアクティベーション値とSNNのスパイク時間とのほぼ完全なマッピングを実現することができることを示す。 この研究は、電力制約のあるエッジコンピューティングプラットフォームに超低消費電力のTTFSベースのSNNをデプロイする方法を舗装している。
  論文  参考訳（メタデータ） (2023-10-23T14:26:16Z)
• SVDinsTN: A Tensor Network Paradigm for Efficient Structure Search from Regularized Modeling Perspective [41.62808372395741]
  ネットワーク(TN)表現はコンピュータビジョンと機械学習の強力な技術である。 TN構造探索(TN-SS)は、コンパクトな表現を実現するためにカスタマイズされた構造を探すことを目的としている。 SVD-インスパイアされたTN分解(SVDinsTN)と呼ばれる新しいTNパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-24T09:02:01Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Alternating Local Enumeration (TnALE): Solving Tensor Network Structure Search with Fewer Evaluations [24.437786843413697]
  局所列挙法により各構造関連変数を交互に更新する新しいアルゴリズムであるTnALEを提案する。 我々は、TnALEが最先端のアルゴリズムよりもはるかに少ない評価で、事実上優れたTNランクと置換を見つけることができることを示した。
  論文  参考訳（メタデータ） (2023-04-25T14:45:59Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network [53.47564132861866]
  マルチチャネル音声強調のためのテンソル-ベクトル回帰手法を提案する。 キーとなる考え方は、従来のディープニューラルネットワーク(DNN)ベースのベクトル-ベクトル回帰の定式化を、テンソル-トレインネットワーク(TTN)フレームワークで行うことである。 8チャンネル条件では、3.12のPSSQはTTNの2000万のパラメータを使用して達成されるが、6800万のパラメータを持つDNNは3.06のPSSQしか達成できない。
  論文  参考訳（メタデータ） (2020-02-03T02:58:00Z)
• Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach [85.12934750565971]
  特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
  論文  参考訳（メタデータ） (2020-01-27T22:38:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。