論文の概要: Towards Meta-Pruning via Optimal Transport

• arxiv url: http://arxiv.org/abs/2402.07839v2
• Date: Tue, 13 Feb 2024 13:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 11:54:14.780112
• Title: Towards Meta-Pruning via Optimal Transport
• Title（参考訳）: 最適輸送によるメタプラニングに向けて
• Authors: Alexander Theus, Olin Geimer, Friedrich Wicke, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh
• Abstract要約: 本稿では, フラニングパラダイムに挑戦する「イントラフュージョン」という新しいアプローチを提案する。 モデル融合と最適輸送の概念を利用して、より効果的なスパースモデル表現に到達する。 CIFAR-10, CIFAR-100, ImageNetなどの一般的なデータセット上で, 各種ネットワークのベンチマークを行った。
• 参考スコア（独自算出の注目度）: 64.6060250923073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structural pruning of neural networks conventionally relies on identifying and discarding less important neurons, a practice often resulting in significant accuracy loss that necessitates subsequent fine-tuning efforts. This paper introduces a novel approach named Intra-Fusion, challenging this prevailing pruning paradigm. Unlike existing methods that focus on designing meaningful neuron importance metrics, Intra-Fusion redefines the overlying pruning procedure. Through utilizing the concepts of model fusion and Optimal Transport, we leverage an agnostically given importance metric to arrive at a more effective sparse model representation. Notably, our approach achieves substantial accuracy recovery without the need for resource-intensive fine-tuning, making it an efficient and promising tool for neural network compression. Additionally, we explore how fusion can be added to the pruning process to significantly decrease the training time while maintaining competitive performance. We benchmark our results for various networks on commonly used datasets such as CIFAR-10, CIFAR-100, and ImageNet. More broadly, we hope that the proposed Intra-Fusion approach invigorates exploration into a fresh alternative to the predominant compression approaches. Our code is available here: https://github.com/alexandertheus/Intra-Fusion.
• Abstract（参考訳）: ニューラルネットワークの構造的プルーニングは、伝統的に重要でないニューロンの識別と破棄に依存しており、これはしばしば、その後の微調整の努力を必要とするかなりの精度の損失をもたらす。 本稿では,この主流プルーニングパラダイムに挑戦する,Intra-Fusionという新しいアプローチを提案する。 有意義なニューロンの重要性の指標を設計する既存の方法とは異なり、輸液は過剰な刈り取り手順を再定義する。 モデル融合と最適輸送の概念を利用することで、より効果的なスパースモデル表現に到達するために、不可知的に与えられた重要な計量を利用する。 特に,本手法は,資源集約的な微調整を必要とせず,相当な精度回復を実現し,ニューラルネットワーク圧縮のための効率的かつ有望なツールである。 さらに, 競争性能を維持しながら, 訓練時間を著しく短縮するために, プランニングプロセスに融合を加える方法についても検討した。 CIFAR-10, CIFAR-100, ImageNetなどの一般的なデータセット上で, 各種ネットワークのベンチマークを行った。 より広範に、提案されたイントラフュージョンアプローチが、主流の圧縮アプローチに代わる新たな代替手段を探究することを期待している。 私たちのコードは、https://github.com/alexandertheus/Intra-Fusion.comで利用可能です。

関連論文リスト

• Affine-based Deformable Attention and Selective Fusion for Semi-dense Matching [30.272791354494373]
  モデル断面変形に対するアフィン系局所的注意を導入する。 また、クロスアテンションからローカルメッセージとグローバルメッセージをマージするための選択的融合も提示する。
  論文  参考訳（メタデータ） (2024-05-22T17:57:37Z)
• T-Fusion Net: A Novel Deep Neural Network Augmented with Multiple Localizations based Spatial Attention Mechanisms for Covid-19 Detection [0.7614628596146599]
  本研究は、複数の局所化に基づく空間的注意を増大させる新しいディープニューラルネットワーク(T-Fusion Net)を提案する。 さらに、同ネットワークの同種アンサンブルを用いて、画像分類精度を高める。 提案したT-フュージョンネットと同質アンサンブルモデルは,他の最先端手法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-31T18:18:01Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。