論文の概要: Beyond Skip Connection: Pooling and Unpooling Design for Elimination Singularities

• arxiv url: http://arxiv.org/abs/2409.13154v2
• Date: Tue, 10 Dec 2024 14:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:33:45.579139
• Title: Beyond Skip Connection: Pooling and Unpooling Design for Elimination Singularities
• Title（参考訳）: スキップ接続を超えて: 特異点除去のためのプールとアンプール設計
• Authors: Chengkun Sun, Jinqian Pan, Zhuoli Jin, Russell Stevens Terry, Jiang Bian, Jie Xu,
• Abstract要約: 深層畳み込みニューラルネットワーク(CNN)のトレーニングには、ユニークな課題がある。 私たちはPool Skipを紹介します。これは、Max Pooling、Max Unpooling、3倍の畳み込み、スキップ接続を戦略的に組み合わせたアーキテクチャ拡張です。 この構成は、トレーニングプロセスを安定化し、レイヤ間の機能の整合性を維持するのに役立つ。
• 参考スコア（独自算出の注目度）: 7.863920140649602
• License:
• Abstract: Training deep Convolutional Neural Networks (CNNs) presents unique challenges, including the pervasive issue of elimination singularities, consistent deactivation of nodes leading to degenerate manifolds within the loss landscape. These singularities impede efficient learning by disrupting feature propagation. To mitigate this, we introduce Pool Skip, an architectural enhancement that strategically combines a Max Pooling, a Max Unpooling, a 3 times 3 convolution, and a skip connection. This configuration helps stabilize the training process and maintain feature integrity across layers. We also propose the Weight Inertia hypothesis, which underpins the development of Pool Skip, providing theoretical insights into mitigating degradation caused by elimination singularities through dimensional and affine compensation. We evaluate our method on a variety of benchmarks, focusing on both 2D natural and 3D medical imaging applications, including tasks such as classification and segmentation. Our findings highlight Pool Skip's effectiveness in facilitating more robust CNN training and improving model performance.
• Abstract（参考訳）: 深層畳み込みニューラルネットワーク(CNN)のトレーニングでは、除去特異点の広範的問題、損失ランドスケープ内の退化多様体につながるノードの一貫した非活性化など、ユニークな課題が提示されている。 これらの特異性は、特徴伝播を妨害することで効率的な学習を妨げる。 これを軽減するために、私たちは、Max Pooling、Max Unpooling、3倍の畳み込み、スキップ接続を戦略的に組み合わせたアーキテクチャ拡張であるPool Skipを紹介します。 この構成は、トレーニングプロセスを安定化し、レイヤ間の機能の整合性を維持するのに役立つ。 また, プールスキップの発達を支える重み慣性仮説を提案し, 次元およびアフィン補償による除去特異性に起因する劣化の緩和に関する理論的知見を提供する。 本手法は,分類やセグメンテーションなどのタスクを含む2次元の自然画像と3次元の医用画像の両方に焦点をあてて,様々なベンチマークで評価する。 以上の結果から,より堅牢なCNNトレーニングとモデル性能向上を目的としたPool Skipの有効性が示唆された。

関連論文リスト

• WiNet: Wavelet-based Incremental Learning for Efficient Medical Image Registration [68.25711405944239]
  深部画像登録は異常な精度と高速な推測を示した。 近年の進歩は、粗大から粗大の方法で密度変形場を推定するために、複数のカスケードまたはピラミッドアーキテクチャを採用している。 本稿では,様々なスケールにわたる変位/速度場に対して,スケールワイブレット係数を漸進的に推定するモデル駆動WiNetを提案する。
  論文  参考訳（メタデータ） (2024-07-18T11:51:01Z)
• ELA: Efficient Local Attention for Deep Convolutional Neural Networks [15.976475674061287]
  本稿では、簡単な構造で大幅な性能向上を実現するための効率的な局所注意法(ELA)を提案する。 これらの課題を克服するため、我々は1次元畳み込みとグループ正規化機能強化技術の導入を提案する。 ELAはResNet、MobileNet、DeepLabといったディープCNNネットワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-02T08:06:18Z)
• Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape Reconstruction from Point Clouds [53.02191521770926]
  我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。 nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。 全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-08-03T13:56:07Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Leveraging triplet loss and nonlinear dimensionality reduction for on-the-fly channel charting [0.0]
  チャネルチャートは、無線チャネルをいわゆるチャートにマッピングすることを目的とした教師なし学習手法である。 本稿では,モデルに基づくディープラーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-04-04T12:01:36Z)
• Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection [0.0]
  本稿では,CARE-GNNをResidual Layered CARE-GNN(RLC-GNN)と呼ばれるディープモデルに拡張する改良されたディープアーキテクチャを提案する。 RLC-GNNの3つの課題は、近隣情報の利用が制限に達すること、訓練の難しさ、およびノードの特徴や外部パターンに関する包括的な考慮の欠如である。 YelpとAmazonのデータセットで実験が行われる。
  論文  参考訳（メタデータ） (2022-02-14T09:51:35Z)
• Semi-Decentralized Federated Edge Learning with Data and Device Heterogeneity [6.341508488542275]
  フェデレーションエッジ学習(FEEL)は、ディープラーニングモデルをトレーニングするために、ネットワークエッジに分散データを効果的に組み込むための、プライバシ保護パラダイムとして多くの注目を集めている。 本稿では,複数のエッジサーバを用いて多数のクライアントノードを協調的に調整する,半分散型フェデレーションエッジ学習(SD-FEEL)という,FEELの新しいフレームワークについて検討する。 効率的なモデル共有のためにエッジサーバ間の低レイテンシ通信を利用することで、SD-FEELは従来のフェデレート学習に比べてはるかにレイテンシの低い訓練データを取り込みながら、より多くのトレーニングデータを組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-20T03:06:08Z)
• AdaPool: Exponential Adaptive Pooling for Information-Retaining Downsampling [82.08631594071656]
  畳み込み層は畳み込みニューラルネットワーク(CNN)の重要な構成要素である 適応的で指数関数的に重み付けされたアダプール法を提案する。 adaPoolは画像やビデオの分類やオブジェクト検出など,さまざまなタスクを通じて,ディテールの保存性の向上を実証する。
  論文  参考訳（メタデータ） (2021-11-01T08:50:37Z)
• InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
  逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。 このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。 室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
  論文  参考訳（メタデータ） (2021-04-06T18:52:45Z)
• Deep hierarchical pooling design for cross-granularity action recognition [14.696233190562936]
  本稿では,行動認識における時間的粒度の異なる階層的アグリゲーション設計を提案する。 制約最小化問題の解法により,このネットワークにおける演算の組み合わせを学習する。 原則と基礎が整っただけでなく、提案された階層的なプーリングもビデオ長であり、動作のミスアライメントに耐性がある。
  論文  参考訳（メタデータ） (2020-06-08T11:03:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。