論文の概要: The Lottery Ticket Hypothesis for Object Recognition

• arxiv url: http://arxiv.org/abs/2012.04643v2
• Date: Mon, 19 Apr 2021 17:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:43:11.160075
• Title: The Lottery Ticket Hypothesis for Object Recognition
• Title（参考訳）: オブジェクト認識のためのロッキーチケット仮説
• Authors: Sharath Girish, Shishira R. Maiya, Kamal Gupta, Hao Chen, Larry Davis, Abhinav Shrivastava
• Abstract要約: Lottery Ticket Hypothesisは、大規模なデータセットで訓練されたディープネットワークには、高密度ネットワークと同等のパフォーマンスを実現する小さなニューラルネットワークが含まれていると述べている。 性能低下を招くことなく、異なるサブタスクに対して最大80%の間隔で宝くじを探す方法に関するガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 39.186511997089575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognition tasks, such as object recognition and keypoint estimation, have seen widespread adoption in recent years. Most state-of-the-art methods for these tasks use deep networks that are computationally expensive and have huge memory footprints. This makes it exceedingly difficult to deploy these systems on low power embedded devices. Hence, the importance of decreasing the storage requirements and the amount of computation in such models is paramount. The recently proposed Lottery Ticket Hypothesis (LTH) states that deep neural networks trained on large datasets contain smaller subnetworks that achieve on par performance as the dense networks. In this work, we perform the first empirical study investigating LTH for model pruning in the context of object detection, instance segmentation, and keypoint estimation. Our studies reveal that lottery tickets obtained from ImageNet pretraining do not transfer well to the downstream tasks. We provide guidance on how to find lottery tickets with up to 80% overall sparsity on different sub-tasks without incurring any drop in the performance. Finally, we analyse the behavior of trained tickets with respect to various task attributes such as object size, frequency, and difficulty of detection.
• Abstract（参考訳）: 近年,物体認識やキーポイント推定などの認識タスクが広く採用されている。 これらのタスクの最先端の手法のほとんどは、計算コストが高く、巨大なメモリフットプリントを持つディープネットワークを使用する。 これにより、これらのシステムを低電力の組み込みデバイスにデプロイすることは非常に困難である。 したがって、そのようなモデルにおけるストレージ要件の削減と計算量の削減が重要となる。 最近提案されたLottery Ticket hypothesis (LTH)は、大規模なデータセットでトレーニングされたディープニューラルネットワークには、高密度ネットワークと同等のパフォーマンスを達成するための小さなサブネットが含まれている、と述べている。 本稿では,オブジェクト検出,インスタンスセグメンテーション,キーポイント推定の文脈におけるモデルプルーニングのlthについて,最初の実証研究を行う。 本研究では,ImageNet事前学習から得られる宝くじが下流のタスクにうまく転送されないことを示す。 異なるサブタスクに対して最大80%の間隔で宝くじを見つける方法に関するガイダンスを,パフォーマンスの低下を招くことなく提供する。 最後に,対象物の大きさや頻度,検出の困難さなど,さまざまなタスク属性に対して,トレーニングチケットの挙動を分析する。

関連論文リスト

• Finding Lottery Tickets in Vision Models via Data-driven Spectral Foresight Pruning [14.792099973449794]
  本稿では,スパースネットワークのトレーニングダイナミクスと高密度ネットワークのトレーニングダイナミクスを一致させるアルゴリズムを提案する。 NTKスペクトルにおける通常無視されるデータ依存成分がどのように考慮されるかを示す。 パスeXclusion(PX)は、高頻度でも宝くじを見つけることができる。
  論文  参考訳（メタデータ） (2024-06-03T22:19:42Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Quantifying lottery tickets under label noise: accuracy, calibration, and complexity [6.232071870655069]
  ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。 スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
  論文  参考訳（メタデータ） (2023-06-21T11:35:59Z)
• LOFT: Finding Lottery Tickets through Filter-wise Training [15.06694204377327]
  本稿では,このようなチケットの出現を効果的に識別し,この観測結果を用いて,効率的な事前学習アルゴリズムの設計を行う方法を示す。 We present the emphLOttery ticket through filter-wise Training algorithm, called textscLoFT。 textscLoFT $i)$は保存され、良い宝くじを見つける。
  論文  参考訳（メタデータ） (2022-10-28T14:43:42Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Few-Shot Keypoint Detection as Task Adaptation via Latent Embeddings [17.04471874483516]
  既存のアプローチでは、1つのフォワードパスに密なキーポイントの埋め込みを計算するか、その全容量をスパースポイントのセットに割り当てる。 本稿では,ある時点における関連点数が典型的には少ないという観測に基づいて,中間点を探索する。 私たちの主な貢献は、キーポイント埋め込みでスパーススタイルのネットワークを条件付けることができる、少数ショットタスク適応にインスパイアされた、新しいアーキテクチャです。
  論文  参考訳（メタデータ） (2021-12-09T13:25:42Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Playing Lottery Tickets with Vision and Language [62.6420670250559]
  大規模トランスフォーマーによる事前学習は視覚言語(V+L)研究に革命をもたらした。 並行して、宝くじチケット仮説の研究は、ディープニューラルネットワークには、分離訓練時に高密度ネットワークよりも同等またはさらに優れたパフォーマンスを達成できる小さなマッチングワークが含まれていることを示しています。 テストベッドとして最高の性能を持つV+Lモデルの1つであるUNITERを使用し、実験のために7つの代表的なV+Lタスクを統合する。
  論文  参考訳（メタデータ） (2021-04-23T22:24:33Z)
• Towards Practical Lottery Ticket Hypothesis for Adversarial Training [78.30684998080346]
  トレーニングプロセス中にはるかに高速に収束する,前述のサブネットワークのサブセットが存在することを示す。 本研究の実践的応用として,このようなサブネットワークは,対人訓練の総時間を短縮する上で有効であることを示す。
  論文  参考訳（メタデータ） (2020-03-06T03:11:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。