論文の概要: Squeeze-and-Remember Block

• arxiv url: http://arxiv.org/abs/2410.00823v1
• Date: Tue, 1 Oct 2024 16:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 03:55:54.833851
• Title: Squeeze-and-Remember Block
• Title（参考訳）: Squeeze-and-rememberブロック
• Authors: Rinor Cakaj, Jens Mehnert, Bin Yang,
• Abstract要約: Squeeze-and-Remember(SR)ブロックは、CNNに動的メモリのような機能を与える新しいアーキテクチャユニットである。 SRブロックはトレーニング中に重要な機能を選択的に記憶し、推論中にこれらの機能を適応的に再適用する。 これにより、文脈的に情報を得た予測を行うネットワークの能力が向上する。
• 参考スコア（独自算出の注目度）: 4.150676163661315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional Neural Networks (CNNs) are important for many machine learning tasks. They are built with different types of layers: convolutional layers that detect features, dropout layers that help to avoid over-reliance on any single neuron, and residual layers that allow the reuse of features. However, CNNs lack a dynamic feature retention mechanism similar to the human brain's memory, limiting their ability to use learned information in new contexts. To bridge this gap, we introduce the "Squeeze-and-Remember" (SR) block, a novel architectural unit that gives CNNs dynamic memory-like functionalities. The SR block selectively memorizes important features during training, and then adaptively re-applies these features during inference. This improves the network's ability to make contextually informed predictions. Empirical results on ImageNet and Cityscapes datasets demonstrate the SR block's efficacy: integration into ResNet50 improved top-1 validation accuracy on ImageNet by 0.52% over dropout2d alone, and its application in DeepLab v3 increased mean Intersection over Union in Cityscapes by 0.20%. These improvements are achieved with minimal computational overhead. This show the SR block's potential to enhance the capabilities of CNNs in image processing tasks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は多くの機械学習タスクにおいて重要である。 特徴を検出する畳み込み層、単一ニューロンの過度な信頼を回避するのに役立つドロップアウト層、機能の再利用を可能にする残留層である。 しかし、CNNは人間の脳の記憶に類似した動的な特徴保持機構を欠き、学習した情報を新しい文脈で使用する能力を制限する。 このギャップを埋めるために、我々はCNNに動的メモリライクな機能を与える新しいアーキテクチャユニットである"Squeeze-and-Remember"ブロック(SR)を導入する。 SRブロックはトレーニング中に重要な特徴を選択的に記憶し、推論中にこれらの特徴を適応的に再適用する。 これにより、文脈的に情報を得た予測を行うネットワークの能力が向上する。 ImageNetとCityscapesデータセットの実証的な結果は、SRブロックの有効性を示している。ResNet50に統合することで、Dropout2dだけでImageNet上のトップ1バリデーション精度が0.52%向上し、DeepLab v3では、CityscapesにおけるUnionに対する平均インターセクションが0.20%向上した。 これらの改善は計算オーバーヘッドを最小限に抑えて達成される。 このことは、画像処理タスクにおけるCNNの機能を強化するSRブロックの可能性を示している。

関連論文リスト

• Single image super-resolution based on trainable feature matching attention network [0.0]
  畳み込みニューラルネットワーク(CNN)は画像超解法(SR)に広く利用されている トレーニング可能な特徴マッチング(TFM)を導入し、CNNに明示的な特徴学習を導入し、その表現能力を増強する。 また,非局所演算の計算要求を軽減するため,SRNL (Same-size-divided Region-level Non-Local) という変種も提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:31:54Z)
• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• Transferability of Convolutional Neural Networks in Stationary Learning Tasks [96.00428692404354]
  本稿では,大規模な空間問題に対する畳み込みニューラルネットワーク(CNN)の効率的なトレーニングのための新しいフレームワークを提案する。 このような信号の小さなウィンドウで訓練されたCNNは、再学習することなく、はるかに大きなウィンドウでほぼ性能を発揮することを示す。 以上の結果から,CNNは10人未満の訓練を受けた後,数百人のエージェントによる問題に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-21T13:51:45Z)
• No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects [3.096615629099617]
  畳み込みニューラルネットワーク(CNN)は多くのコンピュータビジョンタスクで大きな成功を収めた。 しかし、画像が解像度の低いタスクやオブジェクトが小さいタスクでは、パフォーマンスが急速に低下する。 そこで我々は,SPD-Convと呼ばれる新しいCNNビルディングブロックを提案し,各ストリップ畳み込み層と各プール層に代えて提案する。
  論文  参考訳（メタデータ） (2022-08-07T05:09:18Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。