論文の概要: Evolving Transferable Pruning Functions

• arxiv url: http://arxiv.org/abs/2110.10876v1
• Date: Thu, 21 Oct 2021 03:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-22 17:14:13.038801
• Title: Evolving Transferable Pruning Functions
• Title（参考訳）: 伝達可能なプルーニング関数の進化
• Authors: Yuchen Liu, S.Y. Kung, David Wentzlaff
• Abstract要約: 本稿では,強い刈り取り量を自動的に検出するエンドツーエンドフレームワークを提案する。 我々は, プランニング関数を表現し, 進化戦略を活用する新しい設計空間を構築した。 提案手法は,効率的な推論を行うためのコンパクトプルーニングネットワークを提供するだけでなく,新しいクローズドフォームプルーニング指標を提供する。
• 参考スコア（独自算出の注目度）: 10.675326899147802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Channel pruning has made major headway in the design of efficient deep learning models. Conventional approaches adopt human-made pruning functions to score channels' importance for channel pruning, which requires domain knowledge and could be sub-optimal. In this work, we propose an end-to-end framework to automatically discover strong pruning metrics. Specifically, we craft a novel design space for expressing pruning functions and leverage an evolution strategy, genetic programming, to evolve high-quality and transferable pruning functions. Unlike prior methods, our approach can not only provide compact pruned networks for efficient inference, but also novel closed-form pruning metrics that are mathematically explainable and thus generalizable to different pruning tasks. The evolution is conducted on small datasets while the learned functions are transferable to larger datasets without any manual modification. Compared to direct evolution on a large dataset, our strategy shows better cost-effectiveness. When applied to more challenging datasets, different from those used in the evolution process, e.g., ILSVRC-2012, an evolved function achieves state-of-the-art pruning results.
• Abstract（参考訳）: チャネルプルーニングは効率的なディープラーニングモデルの設計において大きな一歩を踏み出した。 従来のアプローチでは、チャネルのプルーニングの重要性を評価するために人為的なプルーニング機能を採用していた。 本研究では,強い刈り取り量を自動的に検出するエンドツーエンドフレームワークを提案する。 具体的には, プランニング関数を表現し, 進化戦略である遺伝的プログラミングを活用し, 高品質で転送可能なプランニング関数を進化させる新しい設計空間を構築する。 従来の手法とは異なり,提案手法は,効率的な推論のためにコンパクトなプルーニングネットワークを提供するだけでなく,数学的に説明可能で異なるプルーニングタスクに一般化可能な新しいクローズドフォームプルーニングメトリクスを提供することができる。 この進化は小さなデータセット上で行われ、学習された関数は手動で修正することなくより大きなデータセットに転送可能である。 大規模なデータセット上での直接進化と比較して、我々の戦略はコスト効率が良い。 ILSVRC-2012のような進化過程で使われるものとは異なる、より困難なデータセットに適用すると、進化した関数は最先端のプルーニング結果を達成する。

関連論文リスト

• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Composable Function-preserving Expansions for Transformer Architectures [2.579908688646812]
  最先端のニューラルネットワークのトレーニングには、計算と時間の面で高いコストが必要となる。 本稿では,変圧器ベースニューラルネットワークのサイズを漸進的に増加させるために,構成可能な6つの変換を提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:27:22Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
  本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。 その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
  論文  参考訳（メタデータ） (2022-02-08T13:07:55Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Visualizing High-Dimensional Trajectories on the Loss-Landscape of ANNs [15.689418447376587]
  ニューラルネットワークを訓練するには、高度に非次元的な損失関数の最適化が必要である。 可視化ツールは、ANNの損失ランドスケープの鍵となる幾何学的特徴を明らかにする上で重要な役割を果たしてきた。 局所構造と大域構造の両方でSOTAを表すモダニティ低減手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T16:30:50Z)
• Learning Transferrable Parameters for Long-tailed Sequential User Behavior Modeling [70.64257515361972]
  テールユーザに注力することで、より多くのメリットをもたらし、長いテールの問題に対処できる、と私たちは主張しています。 具体的には、頭部から尾部への知識伝達を容易にするために、勾配アライメントを提案し、敵のトレーニングスキームを採用する。
  論文  参考訳（メタデータ） (2020-10-22T03:12:02Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。