論文の概要: Multiscale Tensor Summation Factorization as a New Neural Network Layer (MTS Layer) for Multidimensional Data Processing
- arxiv url: http://arxiv.org/abs/2504.13975v1
- Date: Thu, 17 Apr 2025 22:19:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 08:11:49.094943
- Title: Multiscale Tensor Summation Factorization as a New Neural Network Layer (MTS Layer) for Multidimensional Data Processing
- Title（参考訳）: マルチ次元データ処理のための新しいニューラルネットワーク層(MTS層)としてのマルチスケールテンソル要約因子化
- Authors: Mehmet Yamaç, Muhammad Numan Yousaf, Serkan Kiranyaz, Moncef Gabbouj,
- Abstract要約: Multiscale Summation (MTS) Factorizationは、テンソル和を複数スケールで実装した新しいニューラルネットワーク演算子である。
MTSは、重量最適化の効率を高めながら必要となるパラメータ数を減少させるだけでなく、畳み込み層よりも明確な利点を示す。
対応するニューラルネットワークであるMTSNetは、さまざまなコンピュータビジョンアプリケーションにおける最先端のトランスフォーマーと比較して、より好ましい複雑性とパフォーマンスのトレードオフを示す。
- 参考スコア（独自算出の注目度）: 18.557169937152967
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multilayer perceptrons (MLP), or fully connected artificial neural networks, are known for performing vector-matrix multiplications using learnable weight matrices; however, their practical application in many machine learning tasks, especially in computer vision, can be limited due to the high dimensionality of input-output pairs at each layer. To improve efficiency, convolutional operators have been utilized to facilitate weight sharing and local connections, yet they are constrained by limited receptive fields. In this paper, we introduce Multiscale Tensor Summation (MTS) Factorization, a novel neural network operator that implements tensor summation at multiple scales, where each tensor to be summed is obtained through Tucker-decomposition-like mode products. Unlike other tensor decomposition methods in the literature, MTS is not introduced as a network compression tool; instead, as a new backbone neural layer. MTS not only reduces the number of parameters required while enhancing the efficiency of weight optimization compared to traditional dense layers (i.e., unfactorized weight matrices in MLP layers), but it also demonstrates clear advantages over convolutional layers. The proof-of-concept experimental comparison of the proposed MTS networks with MLPs and Convolutional Neural Networks (CNNs) demonstrates their effectiveness across various tasks, such as classification, compression, and signal restoration. Additionally, when integrated with modern non-linear units such as the multi-head gate (MHG), also introduced in this study, the corresponding neural network, MTSNet, demonstrates a more favorable complexity-performance tradeoff compared to state-of-the-art transformers in various computer vision applications. The software implementation of the MTS layer and the corresponding MTS-based networks, MTSNets, is shared at https://github.com/mehmetyamac/MTSNet.
- Abstract（参考訳）: 多層パーセプトロン(MLP)は、学習可能な重み行列を用いてベクトル行列乗法を実行することで知られているが、多くの機械学習タスク、特にコンピュータビジョンにおいて、各層における入力-出力対の高次元性のために、それらの実用的応用は制限される。
効率を向上させるため、畳み込み演算子は重量共有や局所接続を容易にするために利用されてきたが、制限された受容場によって制限されている。
本稿では,複数スケールでテンソル和を実装した新しいニューラルネットワーク演算子であるマルチスケールテンソル和(MTS)ファクトリゼーションを導入する。
文献における他のテンソル分解法とは異なり、MTSはネットワーク圧縮ツールとしてではなく、新しいバックボーン神経層として導入された。
MTSは、従来の高密度層(例えば、MLP層における不定形重量行列)と比較して、重量最適化の効率を高めながら必要となるパラメータの数を減少させるだけでなく、畳み込み層よりも明確な利点を示す。
MLPと畳み込みニューラルネットワーク(CNN)によるMTSネットワークの概念実証実験は,分類,圧縮,信号復元など,様々なタスクにおいて有効性を示す。
さらに、マルチヘッドゲート(MHG)のような現代の非線形ユニットと統合した場合、対応するニューラルネットワークであるMTSNetは、様々なコンピュータビジョンアプリケーションにおける最先端のトランスフォーマーと比較して、より好ましい複雑性とパフォーマンスのトレードオフを示す。
MTSレイヤとMTSベースのネットワークのソフトウェア実装は、https://github.com/mehmetyamac/MTSNetで共有されている。
関連論文リスト
- Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。
複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。
変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
論文 参考訳（メタデータ） (2024-12-05T09:41:33Z) - Structured and Balanced Multi-component and Multi-layer Neural Networks [9.699640804685629]
バランスの取れた多成分・多層計算ネットワーク(MMNN)を提案する。
MMNNは、完全連結ニューラルネットワーク(FCNN)や多層パーセプトロン(MLP)と比較して、トレーニングパラメータの大幅な削減を実現している
論文 参考訳（メタデータ） (2024-06-30T17:00:42Z) - A Matrix Product State Model for Simultaneous Classification and Generation [0.8192907805418583]
量子機械学習(Quantum Machine Learning, QML)は、量子コンピューティングの原理と機械学習の技法を融合させる、急速に拡大する分野である。
本稿では,MPSが分類器と生成器の両方として機能する新しい行列積状態(MPS)モデルを提案する。
我々のコントリビューションは、生成タスクのためのテンソルネットワークメソッドのメカニズムに関する洞察を提供する。
論文 参考訳（メタデータ） (2024-06-25T10:23:36Z) - conv_einsum: A Framework for Representation and Fast Evaluation of
Multilinear Operations in Convolutional Tensorial Neural Networks [28.416123889998243]
本研究では,テンソル畳み込み層をeinsumのような文字列として表現するフレームワークと,FLOPを最小化してこれらの文字列を評価するメタアルゴリズムであるconv_einsumを開発する。
論文 参考訳（メタデータ） (2024-01-07T04:30:12Z) - Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - BiTAT: Neural Network Binarization with Task-dependent Aggregated
Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。
コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。
本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文 参考訳（メタデータ） (2022-07-04T13:25:49Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳（メタデータ） (2021-11-29T09:30:06Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Residual Matrix Product State for Machine Learning [20.158215120846652]
行列生成状態 (MPS) と残存ニューラルネットワーク (NN) のアイデアを組み合わせることで, 残留行列生成状態 (ResMPS) を提案する。
ResMPSは層が"隠された"特徴を出力にマッピングするネットワークとして扱うことができる。
それは効率、安定性および表現力の最先端のTNモデルより優秀です。
論文 参考訳（メタデータ） (2020-12-22T05:44:20Z) - Block-term Tensor Neural Networks [29.442026567710435]
ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。
CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
論文 参考訳（メタデータ） (2020-10-10T09:58:43Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。