論文の概要: A Lightweight U-like Network Utilizing Neural Memory Ordinary Differential Equations for Slimming the Decoder

• arxiv url: http://arxiv.org/abs/2412.06262v1
• Date: Mon, 09 Dec 2024 07:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:56:38.662486
• Title: A Lightweight U-like Network Utilizing Neural Memory Ordinary Differential Equations for Slimming the Decoder
• Title（参考訳）: デコーダのスリム化のためのニューラルメモリ正規微分方程式を用いた軽量U型ネットワーク
• Authors: Quansong He, Xiaojun Yao, Jun Wu, Zhang Yi, Tao He,
• Abstract要約: ニューラルメモリの正規微分方程式(nmODE)の異なる離散化手法を用いた3つのプラグアンドプレイデコーダを提案する。 これらのデコーダは、スキップ接続から情報を処理し、上向きの経路で数値演算を行うことにより、様々な抽象化レベルで機能を統合する。 要約すると、提案した離散化されたnmデコーダは、パラメータ数を約20%減らし、FLOPを最大74%減らし、U型ネットワークに適応する可能性を秘めている。
• 参考スコア（独自算出の注目度）: 13.123714410130912
• License:
• Abstract: In recent years, advanced U-like networks have demonstrated remarkable performance in medical image segmentation tasks. However, their drawbacks, including excessive parameters, high computational complexity, and slow inference speed, pose challenges for practical implementation in scenarios with limited computational resources. Existing lightweight U-like networks have alleviated some of these problems, but they often have pre-designed structures and consist of inseparable modules, limiting their application scenarios. In this paper, we propose three plug-and-play decoders by employing different discretization methods of the neural memory Ordinary Differential Equations (nmODEs). These decoders integrate features at various levels of abstraction by processing information from skip connections and performing numerical operations on upward path. Through experiments on the PH2, ISIC2017, and ISIC2018 datasets, we embed these decoders into different U-like networks, demonstrating their effectiveness in significantly reducing the number of parameters and FLOPs while maintaining performance. In summary, the proposed discretized nmODEs decoders are capable of reducing the number of parameters by about 20% ~ 50% and FLOPs by up to 74%, while possessing the potential to adapt to all U-like networks. Our code is available at https://github.com/nayutayuki/Lightweight-nmODE-Decoders-For-U-like-networks.
• Abstract（参考訳）: 近年, 医用画像分割作業において, 先進的なU字型ネットワークが顕著な性能を示した。 しかし、過大なパラメータ、高い計算複雑性、遅い推論速度を含むそれらの欠点は、限られた計算資源を持つシナリオにおいて実践的な実装を困難にしている。 既存の軽量なUライクネットワークはこれらの問題を緩和しているが、しばしば事前設計された構造を持ち、分離不能なモジュールで構成され、アプリケーションのシナリオを制限している。 本稿では,ニューラルメモリの正規微分方程式(nmODE)の異なる離散化手法を用いて,3つのプラグアンドプレイデコーダを提案する。 これらのデコーダは、スキップ接続から情報を処理し、上向きの経路で数値演算を行うことにより、様々な抽象化レベルで機能を統合する。 PH2、ISIC2017、ISIC2018データセットの実験を通じて、これらのデコーダを異なるUライクなネットワークに組み込み、性能を維持しながらパラメータやFLOPの数を著しく削減する効果を実証した。 要約すると、提案した離散化されたnmデコーダはパラメータ数を20%程度減らし、FLOPを最大74%減らし、U字型ネットワークに適応する可能性を秘めている。 私たちのコードはhttps://github.com/nayutayuki/Lightweight-nmODE-Decoders-For-U-like-networksで利用可能です。

関連論文リスト

• Reduced Order Modeling with Shallow Recurrent Decoder Networks [5.686433280542813]
  SHRED-ROMは、数値的に不安定な逆近似を符号化する堅牢な復号のみの戦略である。 SHRED-ROMは、固定センサや移動センサの限られた値から、新しいパラメータ値の状態を正確に再構成する。
  論文  参考訳（メタデータ） (2025-02-15T23:41:31Z)
• Spiking Neural Network Accelerator Architecture for Differential-Time Representation using Learned Encoding [0.3749861135832073]
  スパイキングニューラルネットワーク(SNN)はエネルギー効率の向上により近年注目を集めている。 SNNを実装する際の2つの重要な疑問は、既存のデータをスパイクトレインにエンコードする方法と、スパイクトレインをハードウェアで効率的に処理する方法である。 本稿では,これらの問題に,学習プロセスにエンコーディングを組み込むことで対処し,ネットワークが重みとともにスパイクエンコーディングを学習できるようにする。
  論文  参考訳（メタデータ） (2025-01-14T09:09:08Z)
• EvSegSNN: Neuromorphic Semantic Segmentation for Event Data [0.6138671548064356]
  EvSegSNN は、Parametric Leaky Integrate と Fire のニューロンに依存した、生物学的に検証可能なエンコーダ-デコーダU字型アーキテクチャである。 本稿では,スパイキングニューラルネットワークとイベントカメラを組み合わせることによって,エンド・ツー・エンドのバイオインスパイアされたセマンティックセマンティックセマンティクス手法を提案する。 DDD17で実施された実験は、EvSegSNNがMIoUの観点から最も近い最先端モデルを上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-20T10:36:24Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• MSCFNet: A Lightweight Network With Multi-Scale Context Fusion for Real-Time Semantic Segmentation [27.232578592161673]
  マルチスケールコンテキスト融合スキーム(MSCFNet)を用いた新しい軽量ネットワークを考案する。 提案されたMSCFNetは1.15Mパラメータのみを含み、71.9%のMean IoUを実現し、1つのTitan XP GPU構成で50 FPS以上で実行できる。
  論文  参考訳（メタデータ） (2021-03-24T08:28:26Z)
• GhostSR: Learning Ghost Features for Efficient Image Super-Resolution [49.393251361038025]
  畳み込みニューラルネットワーク(CNN)に基づく単一の画像スーパーリゾリューション(SISR)システムは、膨大な計算コストを必要としながら派手なパフォーマンスを実現します。 SISRモデルの冗長な特徴(すなわちゴースト特徴)を生成するためにシフト演算を用いることを提案する。 提案モジュールに埋め込まれた非コンパクトかつ軽量なSISRモデルの両方が,ベースラインと同等の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-01-21T10:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。