論文の概要: Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach

• arxiv url: http://arxiv.org/abs/2011.10944v1
• Date: Sun, 22 Nov 2020 05:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 09:00:28.777253
• Title: Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach
• Title（参考訳）: 教師から逃れる:新しい自己監督的アプローチによるBYOLの理解
• Authors: Haizhou Shi, Dongliang Luo, Siliang Tang, Jian Wang, Yueting Zhuang
• Abstract要約: Bootstrap Your Own Latent (BYOL)は、対照的な学習フレームワークにおいて、ネガティブなサンプルの必要性に真剣に挑戦する。 本稿では,本提案する自己教師型学習フレームワークであるRun Away From Your Teacher (RAFT)の視点からBYOLを理解することを提案する。 RAFTは2つの目標を同時に最適化します。 (i) 同じデータの2つのビューを同じ表現に整列させ、 (ii) BYOLがそれに向かって走っているのではなく、モデルの平均教師(MT)から逃げ出します。
• 参考スコア（独自算出の注目度）: 48.851973939148394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a newly proposed self-supervised framework Bootstrap Your Own Latent (BYOL) seriously challenges the necessity of negative samples in contrastive learning frameworks. BYOL works like a charm despite the fact that it discards the negative samples completely and there is no measure to prevent collapse in its training objective. In this paper, we suggest understanding BYOL from the view of our proposed interpretable self-supervised learning framework, Run Away From your Teacher (RAFT). RAFT optimizes two objectives at the same time: (i) aligning two views of the same data to similar representations and (ii) running away from the model's Mean Teacher (MT, the exponential moving average of the history models) instead of BYOL's running towards it. The second term of RAFT explicitly prevents the representation collapse and thus makes RAFT a more conceptually reliable framework. We provide basic benchmarks of RAFT on CIFAR10 to validate the effectiveness of our method. Furthermore, we prove that BYOL is equivalent to RAFT under certain conditions, providing solid reasoning for BYOL's counter-intuitive success.
• Abstract（参考訳）: 最近、新たに提案された自己教師型フレームワークBootstrap Your Own Latent (BYOL)は、対照的な学習フレームワークにおける負のサンプルの必要性に真剣に挑戦している。 BYOLは、負のサンプルを完全に破棄し、トレーニング目標の崩壊を防ぐ手段がないにもかかわらず、魅力的に機能する。 本稿では,本提案する自己指導型学習フレームワークであるRun Away from your Teacher (RAFT) の視点からBYOLを理解することを提案する。 RAFTは2つの目標を同時に最適化する。 (i)同一データの2つのビューを類似の表現に合わせること。 (ii) BYOLがそれに向かって走っているのではなく、モデルの平均教師(MT、歴史モデルの指数的な移動平均)から逃げること。 RAFTの第2項は、表現の崩壊を明示的に防ぎ、RAFTをより概念的に信頼性の高いフレームワークにする。 CIFAR10上でRAFTの基本的なベンチマークを行い,本手法の有効性を検証した。 さらに,ある条件下ではBYOLはRAFTと等価であり,BYOLの対直観的成功の確実な推論を提供する。

関連論文リスト

• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• DiffAIL: Diffusion Adversarial Imitation Learning [32.90853955228524]
  模倣学習は、現実世界の意思決定タスクにおける報酬関数の定義問題を解決することを目的としている。 拡散逆模倣学習法(DiffAIL)を提案する。 提案手法は最先端の性能を達成し、2つのベンチマークタスクにおける専門家の実証をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-12-11T12:53:30Z)
• SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
  大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。 そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。 忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
  論文  参考訳（メタデータ） (2023-05-03T03:47:00Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
  教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-04T17:33:59Z)
• FAT: Federated Adversarial Training [5.287156503763459]
  フェデレートラーニング(FL)は、機械学習(ML)におけるプライバシとデータガバナンスの問題に対処する最も重要なパラダイムの1つである。 我々は、トレーニング中のデータのプライバシを保ちながら、推論中の回避の脅威を軽減するために、両方の手法を組み合わせて、連合敵訓練(FAT)への第一歩を踏み出した。
  論文  参考訳（メタデータ） (2020-12-03T09:47:47Z)
• BYOL works even without batch statistics [55.479961386189586]
  Bootstrap Your Own Latent (BYOL)は、画像表現のための自己教師型学習アプローチである。 画像の拡張ビューから、BYOLはオンラインネットワークをトレーニングし、同じ画像の異なる拡張ビューのターゲットネットワーク表現を予測する。 バッチ非依存正規化方式でバッチ正規化を置き換えることにより,バニラBYOLに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-20T13:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。