論文の概要: Pruning at Initialization -- A Sketching Perspective

• arxiv url: http://arxiv.org/abs/2305.17559v1
• Date: Sat, 27 May 2023 19:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 18:17:07.926567
• Title: Pruning at Initialization -- A Sketching Perspective
• Title（参考訳）: 初期化でのpruning -- スケッチの観点
• Authors: Noga Bar and Raja Giryes
• Abstract要約: 初期化時にスパースマスクを見つけることは、効率的な行列乗算のために導入されたスケッチ問題と等価であることを示す。 我々は、スパースネットワークの探索がデータ独立であるかもしれないという過去の経験的証拠を理論的に正当化する。
• 参考スコア（独自算出の注目度）: 41.07083436560303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lottery ticket hypothesis (LTH) has increased attention to pruning neural networks at initialization. We study this problem in the linear setting. We show that finding a sparse mask at initialization is equivalent to the sketching problem introduced for efficient matrix multiplication. This gives us tools to analyze the LTH problem and gain insights into it. Specifically, using the mask found at initialization, we bound the approximation error of the pruned linear model at the end of training. We theoretically justify previous empirical evidence that the search for sparse networks may be data independent. By using the sketching perspective, we suggest a generic improvement to existing algorithms for pruning at initialization, which we show to be beneficial in the data-independent case.
• Abstract（参考訳）: 抽選チケット仮説(LTH)は、初期化時にプルーニングニューラルネットワークに注意を向けている。 我々はこの問題を線形設定で研究する。 初期化時にスパースマスクを見つけることは、効率的な行列乗算に導入されたスケッチ問題と同値であることを示す。 これにより、LTH問題を分析し、それに対する洞察を得るためのツールが提供されます。 具体的には,初期化時に発見されたマスクを用いて,訓練終了時のプルーンド線形モデルの近似誤差を限定する。 我々は、スパースネットワークの探索がデータ独立であるかもしれないという過去の経験的証拠を理論的に正当化する。 スケッチの観点を用いて,初期化時にプルーニングを行う既存のアルゴリズムを汎用的に改良する手法を提案する。

関連論文リスト

• Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization [49.06421851486415]
  静的スパーストレーニングは、スパースモデルをスクラッチからトレーニングすることを目的としており、近年顕著な成果を上げている。 ランダムなアジェンダ回転に基づく新しいスパースな直交初期化スキームであるExact Orthogonal Initialization (EOI)を提案する。 本手法は,残差接続や正規化を伴わずに,1000層ネットワークとCNNネットワークを疎結合に訓練することができる。
  論文  参考訳（メタデータ） (2024-06-03T19:44:47Z)
• Learning Structure-from-Motion with Graph Attention Networks [23.87562683118926]
  本稿では,グラフアテンションネットワークを用いてSfM(Structure-from-Motion)を学習する問題に取り組む。 本研究では,複数のビューにまたがって検出された2Dキーポイントを入力とし,対応するカメラポーズと3Dキーポイント座標を出力するモデルを学習する。 本モデルでは,SfM固有のプリミティブを学習するために,グラフニューラルネットワークを利用する。
  論文  参考訳（メタデータ） (2023-08-30T12:13:13Z)
• Learning the Positions in CountSketch [49.57951567374372]
  本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。 本研究では,ゼロでないエントリの位置を最適化する学習ベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-11T07:28:35Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Renormalization for Initialization of Rolling Shutter Visual-Inertial Odometry [5.33024001730262]
  初期化は慣性信号を使用し、それらを視覚データと融合させるための前提条件である。 カナタニの正規化スキームに投入することで、視覚的および慣性的データに関する問題を同時に解決する新しい統計解を提案する。 地上の真実に関する広範囲な評価は、当初提案されたLast Squaresソリューションよりも優れた性能と最大20%の精度の向上を示している。
  論文  参考訳（メタデータ） (2020-08-14T14:54:15Z)
• Learning the Positions in CountSketch [51.15935547615698]
  本稿では,まずランダムなスケッチ行列に乗じてデータを圧縮し,最適化問題を高速に解くスケッチアルゴリズムについて検討する。 本研究では,ゼロでないエントリの位置を最適化する学習アルゴリズムを提案する。 このアルゴリズムは, 従来よりも低階近似の精度を向上し, 初めて$k$-meansクラスタリングのような他の問題に適用できることを示す。
  論文  参考訳（メタデータ） (2020-07-20T05:06:29Z)
• Pruning neural networks without any data by iteratively conserving synaptic flow [27.849332212178847]
  ディープニューラルネットワークのパラメータを抽出することは、時間、記憶、エネルギーの潜在的な節約によって、大きな関心を集めている。 近年の研究では、高価なトレーニングとプルーニングサイクルを通じて、当選した宝くじやスパーストレーナーブルワークスの存在が特定されている。 我々は、理論駆動型アルゴリズム設計を通じて、この問題に対する肯定的な回答を提供する。
  論文  参考訳（メタデータ） (2020-06-09T19:21:57Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。