論文の概要: Convolutional Neural Network Simplification with Progressive Retraining

• arxiv url: http://arxiv.org/abs/2101.04699v1
• Date: Tue, 12 Jan 2021 19:05:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 01:50:38.579304
• Title: Convolutional Neural Network Simplification with Progressive Retraining
• Title（参考訳）: プログレッシブリトレーニングによる畳み込みニューラルネットワークの単純化
• Authors: D. Osaku, J.F. Gomes, A.X. Falc\~ao
• Abstract要約: カーネルプルーニング法は、畳み込みニューラルネットワーク(CNN)モデルの説明を高速化、単純化、改善するために提案されている。 本稿では,カーネル除去の客観的および主観的妥当性基準に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Kernel pruning methods have been proposed to speed up, simplify, and improve explanation of convolutional neural network (CNN) models. However, the effectiveness of a simplified model is often below the original one. In this letter, we present new methods based on objective and subjective relevance criteria for kernel elimination in a layer-by-layer fashion. During the process, a CNN model is retrained only when the current layer is entirely simplified, by adjusting the weights from the next layer to the first one and preserving weights of subsequent layers not involved in the process. We call this strategy \emph{progressive retraining}, differently from kernel pruning methods that usually retrain the entire model after each simplification action -- e.g., the elimination of one or a few kernels. Our subjective relevance criterion exploits the ability of humans in recognizing visual patterns and improves the designer's understanding of the simplification process. The combination of suitable relevance criteria and progressive retraining shows that our methods can increase effectiveness with considerable model simplification. We also demonstrate that our methods can provide better results than two popular ones and another one from the state-of-the-art using four challenging image datasets.
• Abstract（参考訳）: カーネルプルーニング法は、畳み込みニューラルネットワーク(CNN)モデルの説明を高速化、単純化、改善するために提案されている。 しかし、単純化されたモデルの有効性は、しばしば元のモデルよりも低い。 本稿では,カーネル除去の客観的および主観的妥当性基準に基づく新しい手法を提案する。 プロセス中、cnnモデルは、次の層から最初の層まで重みを調整し、プロセスに関わらない後の層の重みを保存することによって、現在の層が完全に単純化された場合にのみ再訓練される。 私たちはこの戦略を「emph{progressive retraining}」と呼び、各単純化アクションの後にモデル全体を再トレーニングするカーネルプルーニングメソッドとは異なる。 我々の主観的関連性基準は、視覚パターン認識における人間の能力を活用し、デザイナーによる単純化プロセスの理解を改善する。 適切な適合基準とプログレッシブ・リトレーニングの組み合わせは,モデルの単純化によって有効性を向上できることを示す。 また,提案手法は,4つの課題の画像データセットを用いて,最先端技術による2つの手法よりも優れた結果が得られることを示す。

関連論文リスト

• Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
  本稿では,ニューラルネットワークの初期化手法を提案する。 この手法は,Li(2023)が提案する出現対策の概念にインスパイアされ,より高い出現値を達成するために,レイヤワイド・ウェイト・スケーリング・ファクタを調整した。 バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-26T18:56:47Z)
• Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
  Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。 本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:54:41Z)
• Enhancing Surface Neural Implicits with Curvature-Guided Sampling and Uncertainty-Augmented Representations [37.42624848693373]
  本研究では,高忠実度3次元再構成作業において,深度画像を直接消化する手法を提案する。 高効率なトレーニングデータを生成するため,簡単なサンプリング手法を提案する。 その単純さにもかかわらず、本手法は古典的および学習的ベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2023-06-03T12:23:17Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Meta Adversarial Perturbations [66.43754467275967]
  メタ逆境摂動(MAP)の存在を示す。 MAPは1段階の上昇勾配更新によって更新された後、自然画像を高い確率で誤分類する。 これらの摂動は画像に依存しないだけでなく、モデルに依存しないものであり、単一の摂動は見えないデータポイントと異なるニューラルネットワークアーキテクチャにまたがってうまく一般化される。
  論文  参考訳（メタデータ） (2021-11-19T16:01:45Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)
• Adaptive Signal Variances: CNN Initialization Through Modern Architectures [0.7646713951724012]
  深層畳み込みニューラルネットワーク(CNN)は、画像処理タスクにおけるそのパフォーマンスに対する不安定な信頼を達成している。 CNN実践者は、学習の安定性が各層でモデルパラメータを初期化する方法に依存するという事実を広く理解している。
  論文  参考訳（メタデータ） (2020-08-16T11:26:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。