論文の概要: A Tensor Residual Circuit Neural Network Factorized with Matrix Product Operation

• arxiv url: http://arxiv.org/abs/2511.09315v1
• Date: Thu, 13 Nov 2025 01:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-13 22:34:54.515272
• Title: A Tensor Residual Circuit Neural Network Factorized with Matrix Product Operation
• Title（参考訳）: 行列積演算を考慮したテンソル残留回路ニューラルネットワーク
• Authors: Andi Chen,
• Abstract要約: テンソルニューラルネットワークと残留回路モデルの特徴を生かした新しいテンソル回路ニューラルネットワーク(TCNN)を提案する。 複素数場における回路の活性化動作と並列性により、特徴学習の非線形性と効率が向上する。 実験の結果、TNNは、最先端比較モデルよりも2%-3%高い精度で、より優れた一般化とロバスト性を示すことを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: It is challenging to reduce the complexity of neural networks while maintaining their generalization ability and robustness, especially for practical applications. Conventional solutions for this problem incorporate quantum-inspired neural networks with Kronecker products and hybrid tensor neural networks with MPO factorization and fully-connected layers. Nonetheless, the generalization power and robustness of the fully-connected layers are not as outstanding as circuit models in quantum computing. In this paper, we propose a novel tensor circuit neural network (TCNN) that takes advantage of the characteristics of tensor neural networks and residual circuit models to achieve generalization ability and robustness with low complexity. The proposed activation operation and parallelism of the circuit in complex number field improves its non-linearity and efficiency for feature learning. Moreover, since the feature information exists in the parameters in both the real and imaginary parts in TCNN, an information fusion layer is proposed for merging features stored in those parameters to enhance the generalization capability. Experimental results confirm that TCNN showcases more outstanding generalization and robustness with its average accuracies on various datasets 2\%-3\% higher than those of the state-of-the-art compared models. More significantly, while other models fail to learn features under noise parameter attacking, TCNN still showcases prominent learning capability owing to its ability to prevent gradient explosion. Furthermore, it is comparable to the compared models on the number of trainable parameters and the CPU running time. An ablation study also indicates the advantage of the activation operation, the parallelism architecture and the information fusion layer.
• Abstract（参考訳）: 一般化能力とロバスト性を維持しながら、ニューラルネットワークの複雑さを低減させることは、特に実用的な用途において困難である。 この問題の従来の解決策には、Kronecker製品による量子インスパイアされたニューラルネットワークと、MPO因子化と完全連結層によるハイブリッドテンソルニューラルネットワークが含まれる。 それでも、完全に接続された層の一般化力とロバスト性は、量子コンピューティングの回路モデルほど際立ったものではない。 本稿では,テンソルニューラルネットワークと残留回路モデルの特徴を生かした新しいテンソル回路ニューラルネットワーク(TCNN)を提案する。 複素数場における回路の活性化動作と並列性により、特徴学習の非線形性と効率が向上する。 さらに,TCNNにおける実部と虚部の両方のパラメータに特徴情報が存在するため,それらのパラメータに格納された特徴を融合して一般化能力を高めるための情報融合層が提案されている。 実験結果から,TNNは,最先端比較モデルよりも平均精度が2\%-3\%高く,より優れた一般化とロバスト性を示した。 さらに重要なのは、他のモデルではノイズパラメータアタックの下で機能を学習できないことだが、TNNは勾配の爆発を防ぐ能力のために、優れた学習能力を誇示していることだ。 さらに、トレーニング可能なパラメータの数とCPUの実行時間の比較モデルに匹敵する。 また,アクティベーション操作,並列処理アーキテクチャ,情報融合レイヤの利点についても検討した。

関連論文リスト

• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
  量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。 提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。 本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
  論文  参考訳（メタデータ） (2024-04-01T10:35:35Z)
• Parallel Spiking Unit for Efficient Training of Spiking Neural Networks [8.912926151352888]
  スパイキングニューラルネットワーク(SNN)は、人工知能の進歩に使用される。 SNNは、その固有の逐次計算依存によって妨げられている。 本稿では、革新的なParallel Spiking Unit(PSU)とその2つの誘導体、IPSU(IPSU)とRPSU(RPSU)を紹介する。 これらの変種は、リセットプロセスを確率的に管理しながら、スパイキングニューロンの漏れた積分と発火機構を巧みに分離する。
  論文  参考訳（メタデータ） (2024-02-01T09:36:26Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。