論文の概要: A Survey of Lottery Ticket Hypothesis

• arxiv url: http://arxiv.org/abs/2403.04861v2
• Date: Tue, 12 Mar 2024 18:35:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 10:59:08.337713
• Title: A Survey of Lottery Ticket Hypothesis
• Title（参考訳）: Lottery Ticket仮説の検討
• Authors: Bohan Liu, Zijie Zhang, Peixiong He, Zhensen Wang, Yang Xiao, Ruimeng Ye, Yang Zhou, Wei-Shinn Ku, Bo Hui
• Abstract要約: Lottery Ticket仮説は、高密度ニューラルネットワークモデルには高度にスパースなサブネットワークが含まれており、独立にトレーニングされた場合、元のモデルよりもパフォーマンスが向上する、と述べている。 この調査は、LTHの現状を詳細に把握し、実験を行い、最も更新されたベースラインと比較する、完全に保守されたプラットフォームを開発することを目的としている。
• 参考スコア（独自算出の注目度）: 20.584945406999147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lottery Ticket Hypothesis (LTH) states that a dense neural network model contains a highly sparse subnetwork (i.e., winning tickets) that can achieve even better performance than the original model when trained in isolation. While LTH has been proved both empirically and theoretically in many works, there still are some open issues, such as efficiency and scalability, to be addressed. Also, the lack of open-source frameworks and consensual experimental setting poses a challenge to future research on LTH. We, for the first time, examine previous research and studies on LTH from different perspectives. We also discuss issues in existing works and list potential directions for further exploration. This survey aims to provide an in-depth look at the state of LTH and develop a duly maintained platform to conduct experiments and compare with the most updated baselines.
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、高密度ニューラルネットワークモデルには、高度にスパースなサブネット(すなわち、当選チケット)が含まれており、単独で訓練された場合、元のモデルよりもパフォーマンスが向上すると述べている。 LTHは経験的にも理論的にも多くの研究で証明されているが、効率性やスケーラビリティなど、未解決の問題がまだいくつか残っている。 また、オープンソースフレームワークやコンセンサスな実験環境の欠如は、将来のLTHの研究に課題をもたらしている。 我々は,LTHに関するこれまでの研究と研究を,異なる視点から初めて検討した。 既存の作業の問題点についても議論し、今後の探索の方向性を列挙する。 この調査は、LTHの現状を詳細に把握し、実験を行い、最も更新されたベースラインと比較する、完全に保守されたプラットフォームを開発することを目的としている。

関連論文リスト

• Building the Bridge of Schr\"odinger: A Continuous Entropic Optimal Transport Benchmark [96.06787302688595]
  提案手法は, 基本真理 OT 解が構成によって知られている確率分布のペアを作成する方法である。 これらのベンチマークペアを使用して、既存のニューラルネットワーク EOT/SB ソルバが実際に EOT ソリューションをどれだけよく計算しているかをテストする。
  論文  参考訳（メタデータ） (2023-06-16T20:03:36Z)
• Analyzing Lottery Ticket Hypothesis from PAC-Bayesian Theory Perspective [25.157282476221482]
  我々は、PAC-ベイズ理論がLTHと一般化行動の関係を明確に理解できることを示した。 PAC-Bayesバウンダリをスパイク・アンド・スラブ分布を用いて,入賞チケットの分析を行う。
  論文  参考訳（メタデータ） (2022-05-15T15:58:27Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Interpreting Deep Knowledge Tracing Model on EdNet Dataset [67.81797777936868]
  この作業では、EdNetと呼ばれる大規模で新しく利用可能なデータセット上で、同様のタスクを実行します。 予備実験の結果,解釈手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-10-31T07:18:59Z)
• Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective [89.19516919095904]
  1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。 我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。 ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
  論文  参考訳（メタデータ） (2021-10-07T06:50:16Z)
• Lottery Ticket Implies Accuracy Degradation, Is It a Desirable Phenomenon? [43.47794674403988]
  ディープモデル圧縮では、最近の発見 "Lottery Ticket Hypothesis" (LTH) (Frankle & Carbin) は、勝利チケットが存在する可能性があることを指摘しました。 勝利特性の背後にある基礎的条件と理論的根拠を調査し,その基礎的理由が重みと最終訓練重みの相関関係に大きく関係していることを見いだした。 宝くじのスパーストレーニングを一貫して上回る"pruning & fine-tuning"方式を提案します。
  論文  参考訳（メタデータ） (2021-02-19T14:49:46Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。