論文の概要: SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2009.07724v3
• Date: Mon, 17 May 2021 15:11:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:28:46.612865
• Title: SelfAugment: Automatic Augmentation Policies for Self-Supervised Learning
• Title（参考訳）: Self Augment: 自己指導型学習のための自動拡張ポリシー
• Authors: Colorado J Reed, Sean Metzger, Aravind Srinivas, Trevor Darrell, Kurt Keutzer
• Abstract要約: 自己教師付き画像回転タスクによる学習表現の評価は、教師付き画像回転タスクの標準セットと高い相関性を示す。 教師付き評価を用いることなく、自動かつ効率的に拡張ポリシーを選択するアルゴリズム(SelfAugment)を提供する。
• 参考スコア（独自算出の注目度）: 98.2036247050674
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: A common practice in unsupervised representation learning is to use labeled data to evaluate the quality of the learned representations. This supervised evaluation is then used to guide critical aspects of the training process such as selecting the data augmentation policy. However, guiding an unsupervised training process through supervised evaluations is not possible for real-world data that does not actually contain labels (which may be the case, for example, in privacy sensitive fields such as medical imaging). Therefore, in this work we show that evaluating the learned representations with a self-supervised image rotation task is highly correlated with a standard set of supervised evaluations (rank correlation $> 0.94$). We establish this correlation across hundreds of augmentation policies, training settings, and network architectures and provide an algorithm (SelfAugment) to automatically and efficiently select augmentation policies without using supervised evaluations. Despite not using any labeled data, the learned augmentation policies perform comparably with augmentation policies that were determined using exhaustive supervised evaluations.
• Abstract（参考訳）: 教師なし表現学習における一般的な実践は、ラベル付きデータを使用して学習した表現の品質を評価することである。 この教師付き評価は、データ拡張ポリシーの選択などのトレーニングプロセスの重要な側面を導くために使用される。 しかし、実際にラベルを含まない実世界データ(例えば、医療画像などのプライバシーに敏感な分野)では、教師なしのトレーニングプロセスを監督された評価で導くことは不可能である。 そこで本研究では,自己教師付き画像回転タスクによる学習表現の評価が,教師付き評価の標準セット(ランク相関$> 0.94$)と高い相関性を示す。 この相関を,数百の強化ポリシー,トレーニング設定,ネットワークアーキテクチャにまたがって確立し,教師付き評価を使わずに,自動的かつ効率的に拡張ポリシーを選択できるアルゴリズム(自己提供)を提供する。 ラベル付きデータを使用しないにもかかわらず、学習された増補ポリシーは、徹底的な教師付き評価を用いて決定された増補ポリシーと同等に機能する。

関連論文リスト

• A review on discriminative self-supervised learning methods [6.24302896438145]
  ラベルのないデータからロバストな特徴を抽出する手法として自己教師付き学習が登場した。 本稿では,コンピュータビジョン分野における自己教師型学習の差別的アプローチについて概説する。
  論文  参考訳（メタデータ） (2024-05-08T11:15:20Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Simple Control Baselines for Evaluating Transfer Learning [1.0499611180329802]
  我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。 自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
  論文  参考訳（メタデータ） (2022-02-07T17:26:26Z)
• Curriculum Offline Imitation Learning [72.1015201041391]
  オフラインの強化学習タスクでは、エージェントは、環境とのさらなるインタラクションなしに、事前にコンパイルされたデータセットから学ぶ必要がある。 我々は,適応的な近隣政策を模倣する経験的選択戦略を,より高いリターンで活用するテキストカリキュラムオフライン学習(COIL)を提案する。 連続制御ベンチマークでは、COILを模倣ベースとRLベースの両方の手法と比較し、混合データセット上で平凡な振る舞いを学ぶことを避けるだけでなく、最先端のオフラインRL手法と競合することを示します。
  論文  参考訳（メタデータ） (2021-11-03T08:02:48Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems [5.459797813771497]
  分類の不確実性可視化と異なるアクティブラーニング(AL)クエリポリシーが自動分類システムにおけるアナリストの信頼にどのように影響するかを検討する。 問合せポリシーは,画像分類システムにおけるアナリストの信頼に大きく影響している。 本稿では,分類におけるアナリストの信頼に影響を及ぼす可能性のある,ALトレーニングフェーズで使用するオラクルクエリポリシと視覚化のセットを提案する。
  論文  参考訳（メタデータ） (2020-04-02T00:52:49Z)
• How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
  我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。 我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2020-03-31T16:03:22Z)
• Reinforcement learning for the privacy preservation and manipulation of eye tracking data [12.486057928762898]
  本稿では、眼球追跡データ操作のための強化学習に基づくアプローチを提案する。 本手法は,被験者のプライバシーを守るために有効であることを示す。
  論文  参考訳（メタデータ） (2020-02-17T07:02:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。