論文の概要: Deep Tensor Network

• arxiv url: http://arxiv.org/abs/2311.11091v2
• Date: Tue, 11 Mar 2025 04:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:41:19.744737
• Title: Deep Tensor Network
• Title（参考訳）: 深部テンソルネットワーク
• Authors: Xuantao Li,
• Abstract要約: 本稿では,テンソルに基づく操作をアテンション機構に統合する新しいフレームワークであるDeep Networkを紹介する。 我々のフレームワークは計算複雑性を減らして効率を向上するだけでなく、逐次データにおける相互作用をモデル化するための原則的手法も提供することを実証する。 実験的な評価により,提案したディープテンソルネットワークは,各種ディープラーニングタスクにおける最先端性能向上のための堅牢なビルディングブロックとして機能することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce the Deep Tensor Network, a novel framework that integrates tensor-based operations into the attention mechanism, thereby enhancing both the expressivity and computational efficiency of deep neural networks. Our approach leverages the algebraic structure of tensor products to generalize the conventional dot-product attention and to formulate new operators, namely, Tensor Attention and Tensor Interaction, which capture higher-order token dependencies. Through rigorous theoretical analysis based on the universal properties of tensor products, we demonstrate that our framework not only improves efficiency by reducing computational complexity but also offers a principled method for modeling complex interactions in sequential data. Empirical evaluations further substantiate that the proposed deep tensor network can serve as a robust building block for advancing state-of-the-art performance in various deep learning tasks.
• Abstract（参考訳）: 我々は、テンソルに基づく演算を注意機構に統合し、ディープニューラルネットワークの表現性と計算効率を向上する新しいフレームワークであるDeep Tensor Networkを紹介する。 提案手法はテンソル積の代数的構造を利用して従来のドット積の注意を一般化し、高次トークン依存を捉えるテンソル注意とテンソル相互作用という新しい作用素を定式化する。 テンソル積の普遍的性質に基づく厳密な理論的解析を通じて,我々のフレームワークは計算複雑性を減らして効率を向上するだけでなく,逐次データにおける複雑な相互作用をモデル化するための原理的手法も提供することを示した。 実験的な評価により,提案したディープテンソルネットワークは,各種ディープラーニングタスクにおける最先端性能向上のための堅牢なビルディングブロックとして機能することが示された。

関連論文リスト

• Survey on Computational Applications of Tensor Network Simulations [0.0]
  Reviewは、どのテンソルネットワークに対してどのクラスが提案されているかを明らかにすることを目的としている。 我々は,このレビューを,非専門家による読みやすいテンソルネットワークアプリケーションに関するハイレベルなツアーとして意図している。
  論文  参考訳（メタデータ） (2024-08-09T11:46:47Z)
• Understanding Deep Learning via Notions of Rank [5.439020425819001]
  この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。 特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。 明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
  論文  参考訳（メタデータ） (2024-08-04T18:47:55Z)
• Conditional computation in neural networks: principles and research trends [48.14569369912931]
  本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。 特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
  論文  参考訳（メタデータ） (2024-03-12T11:56:38Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
  信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 数値計算の結果,多層パーセプトロンと畳み込みニューラルネットワークはそれぞれ平均フィールドと有向パーコレーションクラスに属していることがわかった。
  論文  参考訳（メタデータ） (2023-07-05T13:39:02Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• A Practical Guide to the Numerical Implementation of Tensor Networks I: Contractions, Decompositions and Gauge Freedom [0.0]
  本稿では,テンソルネットワークの手法を数値的に実装するために必要な重要なアイデアとスキルについて概説する。 提案するトピックは、DMRG、TEBD、TRG、PEPS、MERAといった多くの一般的なテンソルネットワークアルゴリズムにおいて重要である。
  論文  参考訳（メタデータ） (2022-02-04T14:10:09Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。