論文の概要: Deep Tensor Network
- arxiv url: http://arxiv.org/abs/2311.11091v1
- Date: Sat, 18 Nov 2023 14:41:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 12:33:23.542330
- Title: Deep Tensor Network
- Title(参考訳): 深部テンソルネットワーク
- Authors: Yifan Zhang
- Abstract要約: 本稿では,テンソルの普遍性を利用したテンソル分類の基本原理を,ディープ・ネットワーク・アーキテクチャの先駆的手法として探求する。
私たちの主な貢献は、テンソル圏を活用して深層ネットワークの計算効率と表現性を向上し、量子領域に一般化できる、アテンション・アンド・インタラクション・メカニズムの導入である。
- 参考スコア(独自算出の注目度): 5.980612601840882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we delve into the foundational principles of tensor
categories, harnessing the universal property of the tensor product to pioneer
novel methodologies in deep network architectures. Our primary contribution is
the introduction of the Tensor Attention and Tensor Interaction Mechanism, a
groundbreaking approach that leverages the tensor category to enhance the
computational efficiency and the expressiveness of deep networks, and can even
be generalized into the quantum realm.
- Abstract(参考訳): 本稿では、テンソル積の普遍性を利用して、深層ネットワークアーキテクチャにおける新しい方法論を開拓し、テンソル圏の基礎原理を考察する。
我々の主要な貢献はテンソル注意とテンソル相互作用機構の導入であり、テンソル圏を利用して深層ネットワークの計算効率と表現力を高め、量子領域に一般化することも可能である。
関連論文リスト
- Conditional computation in neural networks: principles and research
trends [50.55999420565082]
本稿では,ニューラルネットワークの設計にテクトコンディショナリ計算を適用するという,新たな領域の原理とアイデアを要約する。
特に、入力に条件付きで計算グラフの一部を動的に活性化または非活性化するニューラルネットワークに焦点を当てる。
論文 参考訳(メタデータ) (2024-03-12T11:56:38Z) - TensorKrowch: Smooth integration of tensor networks in machine learning [68.8204255655161]
PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。
ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
論文 参考訳(メタデータ) (2023-06-14T15:55:19Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - A Practical Guide to the Numerical Implementation of Tensor Networks I:
Contractions, Decompositions and Gauge Freedom [0.0]
本稿では,テンソルネットワークの手法を数値的に実装するために必要な重要なアイデアとスキルについて概説する。
提案するトピックは、DMRG、TEBD、TRG、PEPS、MERAといった多くの一般的なテンソルネットワークアルゴリズムにおいて重要である。
論文 参考訳(メタデータ) (2022-02-04T14:10:09Z) - Implicit Regularization in Hierarchical Tensor Factorization and Deep
Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。
これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。
我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文 参考訳(メタデータ) (2022-01-27T18:48:30Z) - Defensive Tensorization [113.96183766922393]
本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。
我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。
我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
論文 参考訳(メタデータ) (2021-10-26T17:00:16Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - Quantum-Classical Machine learning by Hybrid Tensor Networks [22.559552951123024]
本研究では,テンソルネットワークと古典ニューラルネットワークを組み合わせた量子古典ハイブリッドネットワーク(HTN)を提案する。
量子分類や量子オートエンコーダなど,HTNの応用の可能性を示す。
論文 参考訳(メタデータ) (2020-05-15T10:20:35Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。