論文の概要: UNet--: Memory-Efficient and Feature-Enhanced Network Architecture based on U-Net with Reduced Skip-Connections

• arxiv url: http://arxiv.org/abs/2412.18276v1
• Date: Tue, 24 Dec 2024 08:38:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:54:14.339467
• Title: UNet--: Memory-Efficient and Feature-Enhanced Network Architecture based on U-Net with Reduced Skip-Connections
• Title（参考訳）: UNet-- - スキップ接続を削減したU-Netに基づくメモリ効率・機能強化ネットワークアーキテクチャ
• Authors: Lingxiao Yin, Wei Tao, Dongyue Zhao, Tadayuki Ito, Kinya Osa, Masami Kato, Tse-Wei Chen,
• Abstract要約: エンコーダ、デコーダ、スキップ接続コンポーネントを備えたU-Netモデルは、様々な視覚タスクにおいて有効であることを示す。 復号ステージの前に、スキップ接続で使われる特徴マップをメモリ内に保持する必要がある。 本稿では,メモリ消費を削減し,ネットワーク性能を向上させるための機能マップを生成する汎用手法とアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 9.919381070435525
• License:
• Abstract: U-Net models with encoder, decoder, and skip-connections components have demonstrated effectiveness in a variety of vision tasks. The skip-connections transmit fine-grained information from the encoder to the decoder. It is necessary to maintain the feature maps used by the skip-connections in memory before the decoding stage. Therefore, they are not friendly to devices with limited resource. In this paper, we propose a universal method and architecture to reduce the memory consumption and meanwhile generate enhanced feature maps to improve network performance. To this end, we design a simple but effective Multi-Scale Information Aggregation Module (MSIAM) in the encoder and an Information Enhancement Module (IEM) in the decoder. The MSIAM aggregates multi-scale feature maps into single-scale with less memory. After that, the aggregated feature maps can be expanded and enhanced to multi-scale feature maps by the IEM. By applying the proposed method on NAFNet, a SOTA model in the field of image restoration, we design a memory-efficient and feature-enhanced network architecture, UNet--. The memory demand by the skip-connections in the UNet-- is reduced by 93.3%, while the performance is improved compared to NAFNet. Furthermore, we show that our proposed method can be generalized to multiple visual tasks, with consistent improvements in both memory consumption and network accuracy compared to the existing efficient architectures.
• Abstract（参考訳）: エンコーダ、デコーダ、スキップ接続コンポーネントを備えたU-Netモデルは、様々な視覚タスクにおいて有効であることを示す。 スキップ接続は、エンコーダからのきめ細かい情報をデコーダに送信する。 復号ステージの前に、スキップ接続で使われる特徴マップをメモリ内に保持する必要がある。 そのため、限られたリソースを持つデバイスには親和性がない。 本稿では,メモリ消費削減のための汎用手法とアーキテクチャを提案し,その一方でネットワーク性能向上のための機能マップを生成する。 この目的のために、エンコーダにMSIAM(Multi-Scale Information Aggregation Module)、デコーダにIEM(Information Enhancement Module)を設計する。 MSIAMは、マルチスケールの機能マップを少ないメモリで単一のスケールに集約する。 その後、集約された特徴マップを拡張し、IMMによってマルチスケール特徴マップに拡張することができる。 画像復元分野におけるSOTAモデルであるNAFNetに提案手法を適用し,メモリ効率・機能強化ネットワークアーキテクチャ,UNet-を設計する。 UNetのスキップ接続によるメモリ需要は93.3%削減され、NAFNetと比較して性能が向上した。 さらに,提案手法は,既存の効率的なアーキテクチャと比較して,メモリ消費とネットワーク精度の両面において一貫した改善を施し,複数の視覚タスクに一般化可能であることを示す。

関連論文リスト

• SMOF: Streaming Modern CNNs on FPGAs with Smart Off-Chip Eviction [6.800641017055453]
  本稿では,計算パイプラインに沿ったオフチップメモリに重み付けとアクティベーション消去機構を導入する。 提案機構は既存のツールフローに組み込まれ,オフチップメモリをバッファとして利用することで設計空間を拡大する。 SMOFは、競争力があり、場合によっては、コンピュータビジョンタスクの範囲で最先端のパフォーマンスを提供する能力を示した。
  論文  参考訳（メタデータ） (2024-03-27T18:12:24Z)
• Universal Recurrent Event Memories for Streaming Data [0.0]
  本稿では、リカレントニューラルネットワークのための新しいイベントメモリアーキテクチャ(MemNet)を提案する。 MemNetはキーと値のペアを格納し、アドレスとコンテンツの情報を分離する。 MemNetアーキテクチャはスカラー時系列、文字列上の論理演算子、自然言語処理に修正を加えることなく適用することができる。
  論文  参考訳（メタデータ） (2023-07-28T17:40:58Z)
• EasyNet: An Easy Network for 3D Industrial Anomaly Detection [49.26348455493123]
  3D異常検出は、産業生産において、新しくて重要なコンピュータビジョンタスクである。 我々は,事前訓練されたモデルやメモリバンクを使わずに,容易に展開可能なネットワーク(EasyNet)を提案する。 実験の結果、EasyNetはトレーニング済みのモデルやメモリバンクを使わずに92.6%の異常検出AUROCを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-07-26T02:46:50Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• ThreshNet: An Efficient DenseNet using Threshold Mechanism to Reduce Connections [1.2542322096299672]
  本稿では,接続の方法をさらに最適化するためのしきい値機構を用いた新しいネットワークアーキテクチャを提案する。 ThreshNetは、DenseNetと比較して最大60%の推論時間を短縮し、トレーニング速度を最大35%高速化し、エラー率を20%削減する。
  論文  参考訳（メタデータ） (2022-01-09T13:52:16Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Continual Learning Approach for Improving the Data and Computation Mapping in Near-Memory Processing System [3.202860612193139]
  ページと計算再マッピングによるデータ配置とリソース活用を最適化する人工知能メモリマッピング方式であるAIMMを提案する。 AIMMはニューラルネットワークを使用して、強化学習アルゴリズムを使用して訓練された実行中にほぼ最適なマッピングを実現します。 本研究では,AIMMが単一および複数プログラムシナリオにおけるベースラインNMP性能を最大70%と50%向上させたことを評価した。
  論文  参考訳（メタデータ） (2021-04-28T09:50:35Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
  本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。 様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。 より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
  論文  参考訳（メタデータ） (2020-07-20T09:34:36Z)
• Multi-Scale Boosted Dehazing Network with Dense Feature Fusion [92.92572594942071]
  U-Netアーキテクチャに基づくDense Feature Fusionを用いたマルチスケールブーストデハージングネットワークを提案する。 提案モデルでは,ベンチマークデータセットや実世界のハジー画像に対する最先端のアプローチに対して,好意的に機能することを示す。
  論文  参考訳（メタデータ） (2020-04-28T09:34:47Z)
• ResNeSt: Split-Attention Networks [86.25490825631763]
  このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。 我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
  論文  参考訳（メタデータ） (2020-04-19T20:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。