論文の概要: Meta-Learning with Network Pruning

• arxiv url: http://arxiv.org/abs/2007.03219v2
• Date: Wed, 22 Jul 2020 14:15:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 18:48:21.571030
• Title: Meta-Learning with Network Pruning
• Title（参考訳）: ネットワークプルーニングによるメタラーニング
• Authors: Hongduan Tian, Bo Liu, Xiao-Tong Yuan, Qingshan Liu
• Abstract要約: 本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。 我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
• 参考スコア（独自算出の注目度）: 40.07436648243748
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning is a powerful paradigm for few-shot learning. Although with remarkable success witnessed in many applications, the existing optimization based meta-learning models with over-parameterized neural networks have been evidenced to ovetfit on training tasks. To remedy this deficiency, we propose a network pruning based meta-learning approach for overfitting reduction via explicitly controlling the capacity of network. A uniform concentration analysis reveals the benefit of network capacity constraint for reducing generalization gap of the proposed meta-learner. We have implemented our approach on top of Reptile assembled with two network pruning routines: Dense-Sparse-Dense (DSD) and Iterative Hard Thresholding (IHT). Extensive experimental results on benchmark datasets with different over-parameterized deep networks demonstrate that our method not only effectively alleviates meta-overfitting but also in many cases improves the overall generalization performance when applied to few-shot classification tasks.
• Abstract（参考訳）: メタ学習は、数ショット学習の強力なパラダイムである。 多くのアプリケーションで顕著な成功が見られたが、既存の最適化ベースのニューラルネットワークによるメタ学習モデルは、トレーニングタスクにおいてovetfitに適していることが証明されている。 この障害を解消するために,ネットワークの容量を明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。 一様濃度分析により,提案するメタリーナーの一般化ギャップを低減できるネットワーク容量制約の利点が明らかになった。 我々は,Dense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上にアプローチを実装した。 パラメータの異なる深層ネットワークを用いたベンチマークデータセットの広範な実験結果から,本手法はメタオーバーフィッティングを効果的に緩和するだけでなく,少数ショットの分類タスクに適用した場合の全体的な一般化性能も向上することが示された。

関連論文リスト

• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Binarizing Sparse Convolutional Networks for Efficient Point Cloud Analysis [93.55896765176414]
  我々は,効率的な点群解析のためのBSC-Netと呼ばれるバイナリスパース畳み込みネットワークを提案する。 我々は,移動したスパース畳み込みにおけるサイトマッチングに最適なオプションを見つけるために,異なる検索戦略を採用している。 我々のBSC-Netは、我々の厳格なベースラインを大幅に改善し、最先端のネットワーク双対化手法より優れています。
  論文  参考訳（メタデータ） (2023-03-27T13:47:06Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
  深層半教師付き分類の最近の進歩は、前例のない性能に達している。 モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。 本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
  論文  参考訳（メタデータ） (2021-06-08T17:09:28Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• MetaGater: Fast Learning of Conditional Channel Gated Networks via Federated Meta-Learning [46.79356071007187]
  本稿では,バックボーンネットワークとチャネルゲーティングを協調的にトレーニングするための総合的なアプローチを提案する。 我々は,バックボーンネットワークとゲーティングモジュールの両方において,優れたメタ初期化を共同で学習するための,連携型メタ学習手法を開発した。
  論文  参考訳（メタデータ） (2020-11-25T04:26:23Z)
• QuantNet: Learning to Quantize by Learning within Fully Differentiable Framework [32.465949985191635]
  本稿では,QuantNetというメタベースの量子化器を提案する。 本手法は, 勾配ミスマッチの問題を解決するだけでなく, 配置中の二項化操作による離散化誤差の影響を低減する。
  論文  参考訳（メタデータ） (2020-09-10T01:41:05Z)
• Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
  本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。 我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
  論文  参考訳（メタデータ） (2020-05-04T03:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。