論文の概要: Quantifying lottery tickets under label noise: accuracy, calibration, and complexity

• arxiv url: http://arxiv.org/abs/2306.12190v1
• Date: Wed, 21 Jun 2023 11:35:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 13:37:57.709220
• Title: Quantifying lottery tickets under label noise: accuracy, calibration, and complexity
• Title（参考訳）: ラベルノイズ下における宝くじの定量化:精度、校正、複雑さ
• Authors: Viplove Arora, Daniele Irto, Sebastian Goldt, Guido Sanguinetti
• Abstract要約: ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。 スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
• 参考スコア（独自算出の注目度）: 6.232071870655069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning deep neural networks is a widely used strategy to alleviate the computational burden in machine learning. Overwhelming empirical evidence suggests that pruned models retain very high accuracy even with a tiny fraction of parameters. However, relatively little work has gone into characterising the small pruned networks obtained, beyond a measure of their accuracy. In this paper, we use the sparse double descent approach to identify univocally and characterise pruned models associated with classification tasks. We observe empirically that, for a given task, iterative magnitude pruning (IMP) tends to converge to networks of comparable sizes even when starting from full networks with sizes ranging over orders of magnitude. We analyse the best pruned models in a controlled experimental setup and show that their number of parameters reflects task difficulty and that they are much better than full networks at capturing the true conditional probability distribution of the labels. On real data, we similarly observe that pruned models are less prone to overconfident predictions. Our results suggest that pruned models obtained via IMP not only have advantageous computational properties but also provide a better representation of uncertainty in learning.
• Abstract（参考訳）: ディープニューラルネットワークのプルーニングは、機械学習の計算負荷を軽減するために広く使われている戦略である。 圧倒的な実証的証拠は、刈り取られたモデルはわずかなパラメータでも非常に高い精度を保っていることを示唆している。 しかし、取得した小さな刈り取りネットワークを特徴付ける作業は、その正確さの尺度を超えて、比較的少ない。 本稿では,スパース二重降下法を用いて一意的に同定し,分類タスクに関連するプルーンドモデルを特徴付ける。 我々は、与えられたタスクに対して、反復等級プルーニング(IMP)が、桁違いの大きさのフルネットワークから始めても、同等の大きさのネットワークに収束する傾向があることを実証的に観察した。 制御された実験環境で最良なプルーニングモデルを分析し,そのパラメータ数がタスクの難易度を反映し,ラベルの真の条件付き確率分布を捉えるためのフルネットワークよりも優れていることを示す。 実データでは同様に、刈り取られたモデルが自信過剰な予測に弱いことも観察する。 以上の結果から,impで得られたprunedモデルでは,計算特性が有利であるだけでなく,学習における不確実性の表現性が向上することが示唆された。

関連論文リスト

• Estimating Uncertainty with Implicit Quantile Network [0.0]
  不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。 本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-08-26T13:33:14Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Efficient Stein Variational Inference for Reliable Distribution-lossless Network Pruning [23.22021752821507]
  バニラPという新しい分布損失の無い刈り取り法を提案し,ベイズ処理における刈り取り抽選の理論的検討を行った。 本手法は,プルーニングモデルの信頼性を定量化しながら,高性能なスペーサーネットワークを実現する。
  論文  参考訳（メタデータ） (2022-12-07T09:31:47Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• The Case for High-Accuracy Classification: Think Small, Think Many! [4.817521691828748]
  簡単な色特徴の組み合わせに基づく効率的で軽量な深層分類アンサンブル構造を提案する。 評価の結果,resnet-50モデルと比較して予測精度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-03-18T16:15:31Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)
• Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
  ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
  論文  参考訳（メタデータ） (2021-03-04T13:22:16Z)
• Exploring Weight Importance and Hessian Bias in Model Pruning [55.75546858514194]
  我々は,重要な自然概念に基づいて,刈り取りの原理的探索を行う。 線形モデルの場合、この重要度の概念は、よく知られたヘッセン式プルーニングアルゴリズムに接続するスケーリングによって得られる。 より小さくなったにもかかわらず重みがより重要になるような設定を特定し、その結果、マグニチュードベースプルーニングの破滅的な失敗に繋がる。
  論文  参考訳（メタデータ） (2020-06-19T00:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。