論文の概要: Zeroth-Order Topological Insights into Iterative Magnitude Pruning

• arxiv url: http://arxiv.org/abs/2206.06563v1
• Date: Tue, 14 Jun 2022 02:34:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 15:36:53.971426
• Title: Zeroth-Order Topological Insights into Iterative Magnitude Pruning
• Title（参考訳）: 反復マグニチュードプランニングにおけるゼロ階トポロジ
• Authors: Aishwarya Balwani, Jakob Krzyston
• Abstract要約: イテレーティブ・マグニチュード・プルーニング(IMP)は実際には支配的であり、プルーニングコミュニティで打ち勝つデファクト・ベースラインである。 学習ネットワークにおけるトポロジ的情報を保存する重みの保持を本質的に促進することを示す。 また,0階のトポロジ的特徴を完璧に保ちながら,どれだけの異なるネットワークを刈り取ることができるかの限界も提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Modern-day neural networks are famously large, yet also highly redundant and compressible; there exist numerous pruning strategies in the deep learning literature that yield over 90% sparser sub-networks of fully-trained, dense architectures while still maintaining their original accuracies. Amongst these many methods though -- thanks to its conceptual simplicity, ease of implementation, and efficacy -- Iterative Magnitude Pruning (IMP) dominates in practice and is the de facto baseline to beat in the pruning community. However, theoretical explanations as to why a simplistic method such as IMP works at all are few and limited. In this work, we leverage the notion of persistent homology to gain insights into the workings of IMP and show that it inherently encourages retention of those weights which preserve topological information in a trained network. Subsequently, we also provide bounds on how much different networks can be pruned while perfectly preserving their zeroth order topological features, and present a modified version of IMP to do the same.
• Abstract（参考訳）: 現在のニューラルネットワークは大きいが、非常に冗長で圧縮可能であることで有名であり、ディープラーニング文学には多くのプルーニング戦略があり、完全に訓練された高密度アーキテクチャのスペーサーサブネットワークを90%以上獲得し、元のアキュラティを維持している。 しかし、その概念的な単純さ、実装の容易さ、有効性のおかげで、これらの多くの方法のうち、反復的規模pruning(imp)が実際に支配的であり、pruningコミュニティで打ち負かされる事実上のベースラインである。 しかし、IMPのような単純な方法がなぜ機能するのかという理論的説明はほとんどなく、限定的である。 本研究では、持続的ホモロジーの概念を活用し、IMPの働きについての洞察を得るとともに、訓練されたネットワークにおけるトポロジ情報を保持する重みの保持を本質的に促進することを示す。 さらに,0次トポロジ的特徴を完璧に保ちながら,どの程度の異なるネットワークを切断できるかのバウンダリも提供し,同じことをするIMPの修正版を提示する。

関連論文リスト

• Neural Network Pruning by Gradient Descent [7.427858344638741]
  我々は,Gumbel-Softmaxテクニックを取り入れた,新しい,かつ簡単なニューラルネットワークプルーニングフレームワークを提案する。 ネットワークパラメータの0.15%しか持たないMNISTデータセット上で、高い精度を維持しながら、例外的な圧縮能力を実証する。 我々は,ディープラーニングプルーニングと解釈可能な機械学習システム構築のための,有望な新たな道を開くと信じている。
  論文  参考訳（メタデータ） (2023-11-21T11:12:03Z)
• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• Miniaturized Graph Convolutional Networks with Topologically Consistent Pruning [12.18340575383456]
  我々は,そのトポロジ的一貫性を保ちつつ,抽出作業を可能にする新しい等級刈り取り法を考案した。 後者は、アクセス可能かつ共アクセス可能な接続のみが、結果として生じる軽量ネットワークに保持されることを保証する。 我々のソリューションは、アクセシビリティ/コ・アクセシビリティを実装した、新しい再パラメータ化と2つの監督的双方向ネットワークに基づいている。
  論文  参考訳（メタデータ） (2023-06-30T12:09:22Z)
• Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning [12.18340575383456]
  我々は確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布と事前分布とを整合させることにより,変動的かつ進行する。 骨格に基づく認識の困難な課題に対して行われた実験は、我々の軽量GCNのかなりの増加を示している。
  論文  参考訳（メタデータ） (2023-05-30T18:12:13Z)
• Towards Practical Control of Singular Values of Convolutional Layers [65.25070864775793]
  畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-11-24T19:09:44Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Defensive Tensorization [113.96183766922393]
  本稿では,ネットワークの遅延高次分解を利用した対角防御手法であるテンソル防御手法を提案する。 我々は,標準画像分類ベンチマークにおけるアプローチの有効性を実証的に実証した。 我々は,音声タスクとバイナリネットワークを考慮し,ドメイン間のアプローチと低精度アーキテクチャの汎用性を検証した。
  論文  参考訳（メタデータ） (2021-10-26T17:00:16Z)
• Deep Networks from the Principle of Rate Reduction [32.87280757001462]
  この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。 学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。 この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
  論文  参考訳（メタデータ） (2020-10-27T06:01:43Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• Distance-Based Regularisation of Deep Networks for Fine-Tuning [116.71288796019809]
  我々は,仮説クラスを,初期訓練前の重みを中心にした小さな球面に制約するアルゴリズムを開発した。 実験的な評価は、我々のアルゴリズムがうまく機能していることを示し、理論的な結果を裏付けるものである。
  論文  参考訳（メタデータ） (2020-02-19T16:00:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。