論文の概要: Padding Module: Learning the Padding in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2301.04608v1
• Date: Wed, 11 Jan 2023 18:03:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 14:30:14.250696
• Title: Padding Module: Learning the Padding in Deep Neural Networks
• Title（参考訳）: パディングモジュール:深層ニューラルネットワークにおけるパディングの学習
• Authors: Fahad Alrasheedi, Xin Zhong, Pei-Chi Huang
• Abstract要約: 本稿では,ディープラーニングモデルに組み込むことができるトレーニング可能なパディングモジュールを提案する。 パディングモジュールは、モデル全体の損失関数を必要とせずに、自分自身を最適化することができる。 実験により、提案されたパディングモジュールは、最先端の競合とベースラインメソッドよりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 4.769747792846005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the last decades, many studies have been dedicated to improving the performance of neural networks, for example, the network architectures, initialization, and activation. However, investigating the importance and effects of learnable padding methods in deep learning remains relatively open. To mitigate the gap, this paper proposes a novel trainable Padding Module that can be placed in a deep learning model. The Padding Module can optimize itself without requiring or influencing the model's entire loss function. To train itself, the Padding Module constructs a ground truth and a predictor from the inputs by leveraging the underlying structure in the input data for supervision. As a result, the Padding Module can learn automatically to pad pixels to the border of its input images or feature maps. The padding contents are realistic extensions to its input data and simultaneously facilitate the deep learning model's downstream task. Experiments have shown that the proposed Padding Module outperforms the state-of-the-art competitors and the baseline methods. For example, the Padding Module has 1.23% and 0.44% more classification accuracy than the zero padding when tested on the VGG16 and ResNet50.
• Abstract（参考訳）: 過去数十年間、ネットワークアーキテクチャ、初期化、アクティベーションなど、ニューラルネットワークのパフォーマンス向上に多くの研究が費やされてきた。 しかし、深層学習における学習可能なパディング法の重要性と効果については比較的オープンである。 本稿では,このギャップを緩和するために,ディープラーニングモデルに配置可能な,新しいトレーニング可能なパディングモジュールを提案する。 パディングモジュールは、モデル全体の損失関数を必要とせずに最適化することができる。 自分自身を訓練するために、パディングモジュールは、入力データの基盤構造を利用して、入力から基底真理と予測器を構成する。 その結果、パディングモジュールは、入力画像の境界やフィーチャーマップにピクセルをパディングするために自動的に学習することができる。 パディング内容は入力データに対する現実的な拡張であり、同時にディープラーニングモデルの下流タスクを促進する。 実験により、提案されたパディングモジュールは最先端の競合相手やベースラインメソッドよりも優れていることが示されている。 例えば、パディングモジュールはVGG16とResNet50でテストした場合、ゼロパディングよりも1.23%と0.44%高い分類精度を持つ。

関連論文リスト

• Modular Neural Network Approaches for Surgical Image Recognition [0.0]
  本稿では,DCSS不安定性分類のためのモジュール型学習の異なるアーキテクチャを導入,評価する。 実験の結果,モジュール型学習は非モジュール型システムと比較して性能が向上することがわかった。 第2部では,肩関節鏡画像への自己訓練によるデータラベリングとセグメンテーションのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-17T22:28:16Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Emergence of hierarchical modes from deep learning [2.0711789781518752]
  本稿では,遅延モードの階層構造として重み行列を解釈できるモード分解学習を提案する。 モード分解学習は、魔法の深層学習への安価で解釈可能な経路を指す。
  論文  参考訳（メタデータ） (2022-08-21T09:53:32Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Towards Disentangling Information Paths with Coded ResNeXt [11.884259630414515]
  ネットワーク全体の機能の透明性を高めるために,我々は新しいアプローチを採っている。 分類のためのニューラルネットワークアーキテクチャを提案し、各クラスに関連する情報が特定の経路を流れる。
  論文  参考訳（メタデータ） (2022-02-10T21:45:49Z)
• Neural Network Module Decomposition and Recomposition [35.21448933547118]
  本稿では,機能の観点から,ディープニューラルネットワーク(DNN)を小さなモジュールに分解するモジュール化手法を提案する。 提案手法は,DNNを高い圧縮比と高精度で分解・分解できることを実証する。
  論文  参考訳（メタデータ） (2021-12-25T08:36:47Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
  特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。 次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-12T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。