論文の概要: Simple Distillation Baselines for Improving Small Self-supervised Models
- arxiv url: http://arxiv.org/abs/2106.11304v1
- Date: Mon, 21 Jun 2021 17:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-22 15:26:42.169627
- Title: Simple Distillation Baselines for Improving Small Self-supervised Models
- Title（参考訳）: 小さな自己監督モデル改善のための簡易蒸留ベースライン
- Authors: Jindong Gu, Wei Liu, Yonglong Tian
- Abstract要約: 本報告では,SimDisと呼ばれる蒸留による小型自己監督モデルの改良のための簡易ベースラインについて検討する。
本稿では,新しい最先端技術を確立するオフライン蒸留ベースラインと,計算オーバーヘッドを最小限に抑えたオンライン蒸留ベースラインを提案する。
- 参考スコア（独自算出の注目度）: 20.91990108792831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While large self-supervised models have rivalled the performance of their
supervised counterparts, small models still struggle. In this report, we
explore simple baselines for improving small self-supervised models via
distillation, called SimDis. Specifically, we present an offline-distillation
baseline, which establishes a new state-of-the-art, and an online-distillation
baseline, which achieves similar performance with minimal computational
overhead. We hope these baselines will provide useful experience for relevant
future research. Code is available at: https://github.com/JindongGu/SimDis/
- Abstract（参考訳）: 大きな自己監督型モデルが監督型モデルのパフォーマンスに匹敵する一方で、小型モデルはいまだに苦戦している。
本報告では,SimDis と呼ばれる蒸留による小型自己監督モデルの改良のための簡易ベースラインについて検討する。
具体的には,オフライン蒸留ベースラインを新たに確立し,計算オーバーヘッドを最小限にして同様の性能を実現するオンライン蒸留ベースラインを提案する。
これらのベースラインが今後の研究に役立つことを願っている。
https://github.com/jindonggu/simdis/
関連論文リスト
- Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。
モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。
我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
論文 参考訳（メタデータ） (2024-10-16T14:29:29Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - On the Efficacy of Small Self-Supervised Contrastive Models without
Distillation Signals [44.209171209780365]
小さなモデルは、自己教師付きコントラスト学習のパラダイムの下では、非常によく機能しない。
既存の方法は、通常、知識を知識蒸留を通じて小さなものに伝達するために、大きなオフ・ザ・シェルフモデルを採用する。
その効果にもかかわらず、蒸留法はいくつかの資源制限されたシナリオには適さないかもしれない。
論文 参考訳（メタデータ） (2021-07-30T17:10:05Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - Dynamic Model Pruning with Feedback [64.019079257231]
余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。
CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
論文 参考訳（メタデータ） (2020-06-12T15:07:08Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。