論文の概要: Deep Nets with Subsampling Layers Unwittingly Discard Useful Activations at Test-Time

• arxiv url: http://arxiv.org/abs/2410.01083v1
• Date: Tue, 1 Oct 2024 21:24:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 23:20:41.443700
• Title: Deep Nets with Subsampling Layers Unwittingly Discard Useful Activations at Test-Time
• Title（参考訳）: サブサンプリング層を持つディープネットは、テスト時間で有意義な活性化を意図しない
• Authors: Chiao-An Yang, Ziwei Liu, Raymond A. Yeh,
• Abstract要約: サブサンプリング層は、活性化マップの一部を捨て、その空間次元を小さくすることで、ディープネットにおいて重要な役割を果たす。 本研究では,テスト時に有用なアクティベーションマップを探索・集約する手法を提案する。 提案手法は,既存のテスト時間拡張手法を補完するモデルテスト時間性能を一貫して改善する。
• 参考スコア（独自算出の注目度）: 46.795812678240445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subsampling layers play a crucial role in deep nets by discarding a portion of an activation map to reduce its spatial dimensions. This encourages the deep net to learn higher-level representations. Contrary to this motivation, we hypothesize that the discarded activations are useful and can be incorporated on the fly to improve models' prediction. To validate our hypothesis, we propose a search and aggregate method to find useful activation maps to be used at test time. We applied our approach to the task of image classification and semantic segmentation. Extensive experiments over nine different architectures on multiple datasets show that our method consistently improves model test-time performance, complementing existing test-time augmentation techniques. Our code is available at https://github.com/ca-joe-yang/discard-in-subsampling.
• Abstract（参考訳）: サブサンプリング層は、活性化マップの一部を捨て、その空間次元を小さくすることで、ディープネットにおいて重要な役割を果たす。 これにより、ディープネットはより高いレベルの表現を学ぶことができる。 このモチベーションとは対照的に、廃棄された活性化は有用であり、モデル予測を改善するためにハエに組み込むことができるという仮説を立てる。 本仮説の有効性を検証するため,テスト時に有用なアクティベーションマップを探索・集約する手法を提案する。 画像分類とセマンティックセグメンテーションの課題に対して,本手法を適用した。 複数のデータセット上の9つの異なるアーキテクチャに対する大規模な実験は、我々の手法が既存のテスト時間拡張技術を補完し、一貫してテスト時間性能を改善することを示している。 私たちのコードはhttps://github.com/ca-joe-yang/discard-in-subsampling.comで利用可能です。

関連論文リスト

• Smooth Deep Saliency [0.3397310088873502]
  本稿では,畳み込みダウンサンプリングによる深度分布マップのノイズ低減手法について検討する。 これらの手法により,隠れ層で計算した勾配に基づく塩分濃度マップをより解釈しやすくする。
  論文  参考訳（メタデータ） (2024-04-02T20:15:43Z)
• Multilevel Saliency-Guided Self-Supervised Learning for Image Anomaly Detection [15.212031255539022]
  異常検出(AD)はコンピュータビジョンの基本課題である。 そこで我々は,サリエンシガイダンスを活用して意味的手がかりを付加するCutSwapを提案する。 CutSwapは、2つの主流ADベンチマークデータセット上で最先端のADパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-30T08:03:53Z)
• Rethinking Class Activation Maps for Segmentation: Revealing Semantic Information in Shallow Layers by Reducing Noise [2.462953128215088]
  クラス活性化マップの性能に対する大きな制限は、畳み込みニューラルネットワークの最後の層にある特徴マップの小さな空間分解能である。 本稿では, 雑音を正の勾配で除去し, ノイズを除去する簡易な勾配法を提案する。 提案手法は,他のCAM関連手法にも容易に適用可能であり,高品質なクラスアクティベーションマップの取得が容易である。
  論文  参考訳（メタデータ） (2023-08-04T03:04:09Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Smoothed Embeddings for Certified Few-Shot Learning [63.68667303948808]
  我々はランダムな平滑化を数ショットの学習モデルに拡張し、入力を正規化された埋め込みにマッピングする。 この結果は、異なるデータセットの実験によって確認される。
  論文  参考訳（メタデータ） (2022-02-02T18:19:04Z)
• Experience feedback using Representation Learning for Few-Shot Object Detection on Aerial Images [2.8560476609689185]
  大規模なリモートセンシング画像データセットであるDOTAを用いて,本手法の性能評価を行った。 特に、数発のオブジェクト検出タスクの固有の弱点を強調します。
  論文  参考訳（メタデータ） (2021-09-27T13:04:53Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)
• Semantic Segmentation With Multi Scale Spatial Attention For Self Driving Cars [2.7317088388886384]
  本稿では,様々なスケールのマルチスケール特徴融合を用いた新しいニューラルネットワークを提案し,その精度と効率的なセマンティックイメージセグメンテーションを提案する。 我々は、ResNetベースの特徴抽出器、ダウンサンプリング部における拡張畳み込み層、アップサンプリング部におけるアトラス畳み込み層を使用し、コンキャット操作を用いてそれらをマージした。 より文脈的な情報をエンコードし、ネットワークの受容領域を強化するため、新しいアテンションモジュールが提案されている。
  論文  参考訳（メタデータ） (2020-06-30T20:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。