論文の概要: From Layers to States: A State Space Model Perspective to Deep Neural Network Layer Dynamics

• arxiv url: http://arxiv.org/abs/2502.10463v1
• Date: Wed, 12 Feb 2025 08:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:13:51.981498
• Title: From Layers to States: A State Space Model Perspective to Deep Neural Network Layer Dynamics
• Title（参考訳）: 層から状態へ: 状態空間モデルからディープニューラルネットワーク層ダイナミクスへ
• Authors: Qinshuo Liu, Weiqin Zhao, Wei Huang, Yanwen Fang, Lequan Yu, Guodong Li,
• Abstract要約: 本稿では, 層からの出力を連続的なプロセスの状態として扱うとともに, 状態空間モデル(SSM)を活用して, 非常に深いニューラルネットワークの層集合を設計する。 S6(Selective State Space Models)は、S6LA(Selective State Space Model Layer Aggregation)と呼ばれる新しいモジュールの設計に使用される。 このモジュールは、シーケンシャルなフレームワーク内で従来のCNNやトランスフォーマーアーキテクチャを組み合わせることを目的としており、最先端のビジョンネットワークの表現能力を高めることを目的としている。
• 参考スコア（独自算出の注目度）: 27.44722774703272
• License:
• Abstract: The depth of neural networks is a critical factor for their capability, with deeper models often demonstrating superior performance. Motivated by this, significant efforts have been made to enhance layer aggregation - reusing information from previous layers to better extract features at the current layer, to improve the representational power of deep neural networks. However, previous works have primarily addressed this problem from a discrete-state perspective which is not suitable as the number of network layers grows. This paper novelly treats the outputs from layers as states of a continuous process and considers leveraging the state space model (SSM) to design the aggregation of layers in very deep neural networks. Moreover, inspired by its advancements in modeling long sequences, the Selective State Space Models (S6) is employed to design a new module called Selective State Space Model Layer Aggregation (S6LA). This module aims to combine traditional CNN or transformer architectures within a sequential framework, enhancing the representational capabilities of state-of-the-art vision networks. Extensive experiments show that S6LA delivers substantial improvements in both image classification and detection tasks, highlighting the potential of integrating SSMs with contemporary deep learning techniques.
• Abstract（参考訳）: ニューラルネットワークの深さは、その能力にとって重要な要素であり、より深いモデルはしばしば優れたパフォーマンスを示す。 これにより、レイヤ集約の強化 — 前のレイヤからの情報を再利用して現在のレイヤの機能をよりよく抽出し、ディープニューラルネットワークの表現力を改善する、という、大きな取り組みが行われた。 しかし、従来の研究は、ネットワーク層が増加するにつれて不適切な離散状態の観点からこの問題に対処してきた。 本稿では、連続的なプロセスの状態として層からの出力を新たに扱い、非常に深いニューラルネットワークにおける層の集合を設計するために状態空間モデル(SSM)を活用することを検討する。 さらに、長いシーケンスのモデリングの進歩に触発され、S6(Selective State Space Models)はS6LA(Selective State Space Model Layer Aggregation)と呼ばれる新しいモジュールの設計に使用される。 このモジュールは、シーケンシャルなフレームワーク内で従来のCNNやトランスフォーマーアーキテクチャを組み合わせることを目的としており、最先端のビジョンネットワークの表現能力を高めることを目的としている。 大規模な実験により、S6LAは画像分類と検出タスクの両方で大幅に改善され、SSMと現代のディープラーニング技術の統合の可能性を強調している。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• SENetV2: Aggregated dense layer for channelwise and global representations [0.0]
  我々は,Squeeze残余モジュール内に,多分岐密度層である新しい多層パーセプトロンを導入する。 この融合により、チャネルワイドパターンを捕捉し、グローバルな知識を持つネットワークの能力が向上する。 ベンチマークデータセットの広範な実験を行い、モデルを検証し、確立したアーキテクチャと比較する。
  論文  参考訳（メタデータ） (2023-11-17T14:10:57Z)
• A Gradient Boosting Approach for Training Convolutional and Deep Neural Networks [0.0]
  グラディエントブースティング(GB)に基づく畳み込みニューラルネットワーク(CNN)とディープニューラルネットワークの訓練方法を紹介する。 提案モデルでは,同一アーキテクチャの標準CNNとDeep-NNに対して,分類精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-22T12:17:32Z)
• Semantic-aware Texture-Structure Feature Collaboration for Underwater Image Enhancement [58.075720488942125]
  水中画像の強調は海洋工学や水生ロボット工学において重要な技術として注目されている。 我々は,高レベルな意味認識事前学習モデルと協調して,効率的でコンパクトな拡張ネットワークを開発する。 また,提案手法を水中の有意な物体検出タスクに適用し,高レベルの視覚タスクに適した意味認識能力を明らかにする。
  論文  参考訳（メタデータ） (2022-11-19T07:50:34Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Multi-Scale Semantics-Guided Neural Networks for Efficient Skeleton-Based Human Action Recognition [140.18376685167857]
  スケルトンに基づく行動認識には,単純なマルチスケールセマンティクス誘導ニューラルネットワークが提案されている。 MS-SGNは、NTU60、NTU120、SYSUデータセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-11-07T03:50:50Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。