論文の概要: Deep Tree Tensor Networks for Image Recognition

• arxiv url: http://arxiv.org/abs/2502.09928v1
• Date: Fri, 14 Feb 2025 05:41:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:34.114660
• Title: Deep Tree Tensor Networks for Image Recognition
• Title（参考訳）: 画像認識のためのディープツリーテンソルネットワーク
• Authors: Chang Nie, Junfang Chen, Yajie Chen,
• Abstract要約: 本稿では,ittextbfDeep textbfTree textbfTensor textbfNetwork (DTTN) という新しいアーキテクチャを紹介する。 DTTNは、マルチ線形操作を通じて、機能間での2L$の乗法的相互作用をキャプチャする。 理論的には、特定の条件下での量子インスパイアされたTNモデルと相互作用するネットワークの等価性を明らかにする。
• 参考スコア（独自算出の注目度）: 1.8434042562191815
• License:
• Abstract: Originating in quantum physics, tensor networks (TNs) have been widely adopted as exponential machines and parameter decomposers for recognition tasks. Typical TN models, such as Matrix Product States (MPS), have not yet achieved successful application in natural image processing. When employed, they primarily serve to compress parameters within off-the-shelf networks, thus losing their distinctive capability to enhance exponential-order feature interactions. This paper introduces a novel architecture named \textit{\textbf{D}eep \textbf{T}ree \textbf{T}ensor \textbf{N}etwork} (DTTN), which captures $2^L$-order multiplicative interactions across features through multilinear operations, while essentially unfolding into a \emph{tree}-like TN topology with the parameter-sharing property. DTTN is stacked with multiple antisymmetric interacting modules (AIMs), and this design facilitates efficient implementation. Moreover, we theoretically reveal the equivalency among quantum-inspired TN models and polynomial and multilinear networks under certain conditions, and we believe that DTTN can inspire more interpretable studies in this field. We evaluate the proposed model against a series of benchmarks and achieve excellent performance compared to its peers and cutting-edge architectures. Our code will soon be publicly available.
• Abstract（参考訳）: 量子物理学から派生したテンソルネットワーク(TN)は、認識タスクの指数機械やパラメータ分解器として広く採用されている。 マトリックス製品状態(MPS)のような典型的なTNモデルは、自然言語処理においてまだ成功していない。 採用時には、主にオフ・ザ・シェルフネットワーク内でパラメータを圧縮し、指数級数的特徴相互作用を増強する特有の能力を失う。 本稿では,マルチ線形演算により特徴量間の2^L$-次乗法的相互作用を捕捉し,本質的にはパラメータ共有性を備えた \emph{tree} のようなTN トポロジーに展開する,新しいアーキテクチャである \textit{\textbf{D}eep \textbf{T}ree \textbf{T}ensor \textbf{N}etwork} (DTTN) を紹介する。 DTTNには複数の反対称相互作用モジュール (AIM) が組み込まれており、この設計は効率的な実装を容易にする。 さらに、特定の条件下で量子インスパイアされたTNモデルと多項式およびマルチリニアネットワークの等価性を理論的に明らかにし、DTTNはこの分野でより解釈可能な研究をインスピレーションできると考えている。 提案したモデルを一連のベンチマークに対して評価し,そのピアや最先端アーキテクチャと比較して優れた性能を実現する。 私たちのコードはまもなく公開されます。

関連論文リスト

• Ultra-low latency quantum-inspired machine learning predictors implemented on FPGA [0.0]
  ツリーネットワーク(TN)は、量子多体系を表現するために用いられる計算パラダイムである。 最近の研究は、機械学習(ML)タスクの実行にTNを適用する方法を示している。 本研究では、FPGA(Field-Programmable Gate Array)技術の低ハードウェアを利用して、TTNを高周波リアルタイムアプリケーションに利用することを検討した。
  論文  参考訳（メタデータ） (2024-09-24T13:21:21Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
  Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。 本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。 提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
  論文  参考訳（メタデータ） (2024-02-29T16:10:21Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• TMS: A Temporal Multi-scale Backbone Design for Speaker Embedding [60.292702363839716]
  話者埋め込みのための現在のSOTAバックボーンネットワークは、話者表現のためのマルチブランチネットワークアーキテクチャを用いた発話からマルチスケール特徴を集約するように設計されている。 本稿では, 話者埋め込みネットワークにおいて, 計算コストの増大を伴わずに, マルチスケール分岐を効率的に設計できる効果的な時間的マルチスケール(TMS)モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-17T05:49:35Z)
• Residual Matrix Product State for Machine Learning [20.158215120846652]
  行列生成状態 (MPS) と残存ニューラルネットワーク (NN) のアイデアを組み合わせることで, 残留行列生成状態 (ResMPS) を提案する。 ResMPSは層が"隠された"特徴を出力にマッピングするネットワークとして扱うことができる。 それは効率、安定性および表現力の最先端のTNモデルより優秀です。
  論文  参考訳（メタデータ） (2020-12-22T05:44:20Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Recurrent Graph Tensor Networks: A Low-Complexity Framework for Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
  我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。 提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。 提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
  論文  参考訳（メタデータ） (2020-09-18T10:13:36Z)
• ResNeSt: Split-Attention Networks [86.25490825631763]
  このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。 我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
  論文  参考訳（メタデータ） (2020-04-19T20:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。