論文の概要: Accelerating Self-Supervised Learning via Efficient Training Strategies

• arxiv url: http://arxiv.org/abs/2212.05611v1
• Date: Sun, 11 Dec 2022 21:49:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 16:38:13.865183
• Title: Accelerating Self-Supervised Learning via Efficient Training Strategies
• Title（参考訳）: 効率的なトレーニング戦略による自己指導型学習の高速化
• Authors: Mustafa Taha Ko\c{c}yi\u{g}it, Timothy M. Hospedales, Hakan Bilen
• Abstract要約: 自己監督型ディープネットワークのトレーニング時間は、教師付きディープネットワークよりも桁違いに大きい。 これらの課題に乗じて,近年の自己指導手法の訓練時間を短縮する方法について検討する。
• 参考スコア（独自算出の注目度）: 98.26556609110992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently the focus of the computer vision community has shifted from expensive supervised learning towards self-supervised learning of visual representations. While the performance gap between supervised and self-supervised has been narrowing, the time for training self-supervised deep networks remains an order of magnitude larger than its supervised counterparts, which hinders progress, imposes carbon cost, and limits societal benefits to institutions with substantial resources. Motivated by these issues, this paper investigates reducing the training time of recent self-supervised methods by various model-agnostic strategies that have not been used for this problem. In particular, we study three strategies: an extendable cyclic learning rate schedule, a matching progressive augmentation magnitude and image resolutions schedule, and a hard positive mining strategy based on augmentation difficulty. We show that all three methods combined lead up to 2.7 times speed-up in the training time of several self-supervised methods while retaining comparable performance to the standard self-supervised learning setting.
• Abstract（参考訳）: 近年、コンピュータビジョンコミュニティの焦点は、高価な教師あり学習から視覚表現の自己教師あり学習へとシフトしている。 監視対象と自己監視対象との間のパフォーマンスギャップは狭まっているが、自己監視型ディープネットワークのトレーニング時間は、進捗を阻害し、炭素コストを課し、実質的な資源を持つ機関に社会的な利益を制限する監視対象ネットワークよりも桁違いに大きいままである。 これらの課題に乗じて,近年の自己監督手法の訓練時間を,この問題に未使用の様々なモデル非依存戦略により削減する。 特に, 拡張可能な循環学習率のスケジュール, 漸進的拡大度と画像解像度のスケジュール, 強化難度に基づく強正のマイニング戦略の3つの戦略について検討した。 これら3つの手法が組み合わさって,複数の自己教師あり学習の学習時間において最大2.7倍の高速化を実現し,標準の自己教師付き学習環境と同等の性能を保った。

関連論文リスト

• Unsupervised Temporal Action Localization via Self-paced Incremental Learning [57.55765505856969]
  本稿では,クラスタリングとローカライズトレーニングを同時に行うための,自己ペースの漸進学習モデルを提案する。 我々は,2つの段階的なインスタンス学習戦略を設計し,ビデオ擬似ラベルの信頼性を確保する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Remote Heart Rate Monitoring in Smart Environments from Videos with Self-supervised Pre-training [28.404118669462772]
  本稿では,自己指導型コントラスト学習を用いて遠隔光麻痺(モグラフィ)と心拍モニタリングを推定する手法を提案する。 コントラストフレームワークを用いてエンコーダを訓練するための3つの空間的および3つの時間的拡張法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T22:41:04Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Domain-Aware Augmentations for Unsupervised Online General Continual Learning [7.145581090959242]
  本稿では、教師なしオンライン総合学習(UOGCL)におけるコントラスト学習のためのメモリ使用量を改善する新しい手法を提案する。 提案手法は単純だが有効であり, 従来の非教師なし手法に比べ, 最新の結果が得られる。 ドメインを意識した拡張手順は他のリプレイ方式にも適用可能であり、継続的な学習には有望な戦略である。
  論文  参考訳（メタデータ） (2023-09-13T11:45:21Z)
• Curriculum Learning in Job Shop Scheduling using Reinforcement Learning [0.3867363075280544]
  深層強化学習(DRL)は、困難な事例に対応するエージェントの計画戦略を動的に調整する。 学習プロセスの設計に,同じ問題サイズ内での難易度の変数を積極的に組み込むことにより,基礎的手法としてのDLRをさらに改善する。
  論文  参考訳（メタデータ） (2023-05-17T13:15:27Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Understand and Improve Contrastive Learning Methods for Visual Representation: A Review [1.4650545418986058]
  手動ラベリングなしで効果的なデータ表現を学習できる可能性から、有望な自己教師型学習が人気を集めている。 本文献レビューは, 自己指導型学習の鍵となる構成要素と限界を理解するための研究者の取り組みについて, 最新の分析を行うことを目的としている。
  論文  参考訳（メタデータ） (2021-06-06T21:59:49Z)
• Self-supervised Video Object Segmentation [76.83567326586162]
  本研究の目的は、半教師付きビデオオブジェクトセグメンテーション(高密度トラッキング)の解決を目的とした自己教師付き表現学習である。 i) 従来の自己教師型アプローチを改善すること、(ii) オンライン適応モジュールによる自己教師型アプローチの強化により、空間的時間的不連続性によるトラッカーのドリフトを緩和すること、(iv) DAVIS-2017とYouTubeの自己教師型アプローチで最先端の結果を示すこと、などが提案されている。
  論文  参考訳（メタデータ） (2020-06-22T17:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。