論文の概要: Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?

• arxiv url: http://arxiv.org/abs/2107.00166v1
• Date: Thu, 1 Jul 2021 01:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-03 02:22:28.525702
• Title: Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?
• Title（参考訳）: 宝くじの健全性チェック:あなたの当選チケットは本当にジャックポットに勝つのか?
• Authors: Xiaolong Ma, Geng Yuan, Xuan Shen, Tianlong Chen, Xuxi Chen, Xiaohan Chen, Ning Liu, Minghai Qin, Sijia Liu, Zhangyang Wang, Yanzhi Wang
• Abstract要約: 主要なDNNアーキテクチャおよび/またはアプリケーションに勝利のチケットが存在するかどうかを明らかにするための具体的な証拠を示す。 学習率や学習エポックといった重要なトレーニングハイパーパラメータは,それぞれ,優勝チケットを特定できるかどうかと高い相関関係があることが判明した。
• 参考スコア（独自算出の注目度）: 90.50740705956638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There have been long-standing controversies and inconsistencies over the experiment setup and criteria for identifying the "winning ticket" in literature. To reconcile such, we revisit the definition of lottery ticket hypothesis, with comprehensive and more rigorous conditions. Under our new definition, we show concrete evidence to clarify whether the winning ticket exists across the major DNN architectures and/or applications. Through extensive experiments, we perform quantitative analysis on the correlations between winning tickets and various experimental factors, and empirically study the patterns of our observations. We find that the key training hyperparameters, such as learning rate and training epochs, as well as the architecture characteristics such as capacities and residual connections, are all highly correlated with whether and when the winning tickets can be identified. Based on our analysis, we summarize a guideline for parameter settings in regards of specific architecture characteristics, which we hope to catalyze the research progress on the topic of lottery ticket hypothesis.
• Abstract（参考訳）: 文学における「勝利チケット」を特定するための実験設定と基準について、長年にわたる論争と矛盾があった。 そこで我々は,より包括的で厳密な条件で宝くじの仮説の定義を再検討する。 新しい定義の下では、主要なDNNアーキテクチャやアプリケーションに勝利のチケットが存在するかどうかを明らかにするための具体的な証拠を示す。 広範な実験を通じて,入賞チケットと各種実験要因の相関関係を定量的に分析し,観測のパターンを実証的に研究する。 学習率やトレーニングエポックといった重要なトレーニングハイパーパラメータや,能力や残差接続といったアーキテクチャ特性は,それぞれ,優勝チケットの特定可能かどうかと高い相関関係があることが判明した。 本稿では,具体的アーキテクチャ特性に関するパラメータ設定のガイドラインを要約し,宝くじの仮説に関する研究の進展を解明したいと考えている。

関連論文リスト

• A Survey of Lottery Ticket Hypothesis [20.584945406999147]
  Lottery Ticket仮説は、高密度ニューラルネットワークモデルには高度にスパースなサブネットワークが含まれており、独立にトレーニングされた場合、元のモデルよりもパフォーマンスが向上する、と述べている。 この調査は、LTHの現状を詳細に把握し、実験を行い、最も更新されたベースラインと比較する、完全に保守されたプラットフォームを開発することを目的としている。
  論文  参考訳（メタデータ） (2024-03-07T19:27:01Z)
• You are caught stealing my winning lottery ticket! Making a lottery ticket claim its ownership [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、特別なスパースサブネットワークを活用するための有望なフレームワークとして出現する。 しかし、LTHの主な資源ボトルネックは、当選チケットのスパースマスクを見つけるのに特別なコストである。 私たちの設定は、深層モデルの知的財産権侵害から保護することに対する最近の関心に新たな次元を与えます。
  論文  参考訳（メタデータ） (2021-10-30T03:38:38Z)
• Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective [89.19516919095904]
  1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。 我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。 ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
  論文  参考訳（メタデータ） (2021-10-07T06:50:16Z)
• Efficient Lottery Ticket Finding: Less Data is More [87.13642800792077]
  Lottery ticket hypothesis (LTH) は、高密度ネットワークに対する当選チケット(希少だが批判的)の存在を明らかにする。 入場券の発見には, 列車プルー・リトラクションのプロセスにおいて, 煩雑な計算が必要となる。 本稿では、特別に選択されたデータのみを用いて、より効率的に宝くじを発見できる新しい視点を探求する。
  論文  参考訳（メタデータ） (2021-06-06T19:58:17Z)
• Super Tickets in Pre-Trained Language Models: From Model Compression to Improving Generalization [65.23099004725461]
  非常に過度にパラメータ化されたモデルにおいて,このようなチケットのコレクションを「勝利チケット」と呼ぶ。 また, ある圧縮比において, 当選チケットの一般化性能は, 一致しただけでなく, フルモデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2021-05-25T15:10:05Z)
• The Elastic Lottery Ticket Hypothesis [106.79387235014379]
  Lottery Ticket Hypothesisは、スパーストレーニング可能なワークスや優勝チケットの識別に注意を向けています。 そのような勝利チケットを識別する最も効果的な方法は、まだ反復マグニチュードベースのPruningです。 我々は,同じモデルファミリーの異なるネットワークから得られる当選チケットを微調整する様々な戦略を提案する。
  論文  参考訳（メタデータ） (2021-03-30T17:53:45Z)
• Bespoke vs. Pr\^et-\`a-Porter Lottery Tickets: Exploiting Mask Similarity for Trainable Sub-Network Finding [0.913755431537592]
  Lottery Ticketsは、過度にパラメータ化されたネットワーク内のスパースサブネットワークである。 精巧な宝くじを生成するためのコンセンサスに基づく手法を提案する。 これらのサブネットワークを通常の宝くじに匹敵するパフォーマンスでトレーニングすることに成功しました。
  論文  参考訳（メタデータ） (2020-07-06T22:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。