論文の概要: Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach

• arxiv url: http://arxiv.org/abs/2011.10944v1
• Date: Sun, 22 Nov 2020 05:49:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-22 09:00:28.777253
• Title: Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach
• Title（参考訳）: 教師から逃れる:新しい自己監督的アプローチによるBYOLの理解
• Authors: Haizhou Shi, Dongliang Luo, Siliang Tang, Jian Wang, Yueting Zhuang
• Abstract要約: Bootstrap Your Own Latent (BYOL)は、対照的な学習フレームワークにおいて、ネガティブなサンプルの必要性に真剣に挑戦する。 本稿では,本提案する自己教師型学習フレームワークであるRun Away From Your Teacher (RAFT)の視点からBYOLを理解することを提案する。 RAFTは2つの目標を同時に最適化します。 (i) 同じデータの2つのビューを同じ表現に整列させ、 (ii) BYOLがそれに向かって走っているのではなく、モデルの平均教師(MT)から逃げ出します。
• 参考スコア（独自算出の注目度）: 48.851973939148394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a newly proposed self-supervised framework Bootstrap Your Own Latent (BYOL) seriously challenges the necessity of negative samples in contrastive learning frameworks. BYOL works like a charm despite the fact that it discards the negative samples completely and there is no measure to prevent collapse in its training objective. In this paper, we suggest understanding BYOL from the view of our proposed interpretable self-supervised learning framework, Run Away From your Teacher (RAFT). RAFT optimizes two objectives at the same time: (i) aligning two views of the same data to similar representations and (ii) running away from the model's Mean Teacher (MT, the exponential moving average of the history models) instead of BYOL's running towards it. The second term of RAFT explicitly prevents the representation collapse and thus makes RAFT a more conceptually reliable framework. We provide basic benchmarks of RAFT on CIFAR10 to validate the effectiveness of our method. Furthermore, we prove that BYOL is equivalent to RAFT under certain conditions, providing solid reasoning for BYOL's counter-intuitive success.
• Abstract（参考訳）: 最近、新たに提案された自己教師型フレームワークBootstrap Your Own Latent (BYOL)は、対照的な学習フレームワークにおける負のサンプルの必要性に真剣に挑戦している。 BYOLは、負のサンプルを完全に破棄し、トレーニング目標の崩壊を防ぐ手段がないにもかかわらず、魅力的に機能する。 本稿では,本提案する自己指導型学習フレームワークであるRun Away from your Teacher (RAFT) の視点からBYOLを理解することを提案する。 RAFTは2つの目標を同時に最適化する。 (i)同一データの2つのビューを類似の表現に合わせること。 (ii) BYOLがそれに向かって走っているのではなく、モデルの平均教師(MT、歴史モデルの指数的な移動平均)から逃げること。 RAFTの第2項は、表現の崩壊を明示的に防ぎ、RAFTをより概念的に信頼性の高いフレームワークにする。 CIFAR10上でRAFTの基本的なベンチマークを行い,本手法の有効性を検証した。 さらに,ある条件下ではBYOLはRAFTと等価であり,BYOLの対直観的成功の確実な推論を提供する。

関連論文リスト

• What Does Flow Matching Bring To TD Learning? [28.717975688380488]
  強化学習(RL)におけるスカラーQ値関数推定にフローマッチングが有効である これらの結果から, 分布 RL ではその成功は説明されず, リターン分布を明示的にモデル化することで, 性能が低下することを示した。 我々は,この統合プロセスの各ステップにおける値の読み出しと高密度な速度管理に積分を用いることで,2つのメカニズムによるTD学習が向上すると主張している。
  論文  参考訳（メタデータ） (2026-03-04T17:51:30Z)
• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• Cross-modal Proxy Evolving for OOD Detection with Vision-Language Models [59.242742594156546]
  CoEvoは、テキストプロキシとビジュアルプロキシの両方を双方向でサンプル条件で適応するテストタイムフレームワークである。 CoEvoは最先端のパフォーマンスを実現し、AUROCを1.33%改善し、ImageNet-1KではFPR95を45.98%削減した。
  論文  参考訳（メタデータ） (2026-01-13T12:08:26Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• GuardFed: A Trustworthy Federated Learning Framework Against Dual-Facet Attacks [56.983319121358555]
  フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、敵の行動に弱いままである。 本稿では,予測精度とグループフェアネスを同時に損なう新たな脅威モデルであるデュアル顔攻撃(DFA)を紹介する。 本稿では,少量のクリーンサーバデータを用いて,公正な参照モデルを維持する自己適応型防衛フレームワークであるGuardFedを提案する。
  論文  参考訳（メタデータ） (2025-11-12T13:02:45Z)
• RAIL: Region-Aware Instructive Learning for Semi-Supervised Tooth Segmentation in CBCT [8.60376207420468]
  Region-Aware Instructive Learning (RAIL) は、CBCT歯のセグメンテーションのための2つのグループからなる半教師付きフレームワークである。 私たちのコードはhttps://github.com/Tournesol-Saturday/RAILで公開されます。
  論文  参考訳（メタデータ） (2025-05-06T13:50:57Z)
• A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce [68.99924691391048]
  我々はGRPOを強化的なアルゴリズムの観点から再検討し、そのコアコンポーネントを分析する。 単純な拒絶サンプリングベースラインであるRAFTは,GRPOやPPOよりも競争性能が高いことがわかった。 この知見に触発されて、完全に正しくないサンプルと完全に正しいサンプルの両方をフィルタリングするポリシー勾配の最小限の拡張であるReinforce-Rejを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:15:02Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• DiffAIL: Diffusion Adversarial Imitation Learning [32.90853955228524]
  模倣学習は、現実世界の意思決定タスクにおける報酬関数の定義問題を解決することを目的としている。 拡散逆模倣学習法(DiffAIL)を提案する。 提案手法は最先端の性能を達成し、2つのベンチマークタスクにおける専門家の実証をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-12-11T12:53:30Z)
• SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
  大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。 そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。 忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
  論文  参考訳（メタデータ） (2023-05-03T03:47:00Z)
• RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
  より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。 RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。 当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
  論文  参考訳（メタデータ） (2022-07-12T19:34:47Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
  教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-04T17:33:59Z)
• FAT: Federated Adversarial Training [5.287156503763459]
  フェデレートラーニング(FL)は、機械学習(ML)におけるプライバシとデータガバナンスの問題に対処する最も重要なパラダイムの1つである。 我々は、トレーニング中のデータのプライバシを保ちながら、推論中の回避の脅威を軽減するために、両方の手法を組み合わせて、連合敵訓練(FAT)への第一歩を踏み出した。
  論文  参考訳（メタデータ） (2020-12-03T09:47:47Z)
• BYOL works even without batch statistics [55.479961386189586]
  Bootstrap Your Own Latent (BYOL)は、画像表現のための自己教師型学習アプローチである。 画像の拡張ビューから、BYOLはオンラインネットワークをトレーニングし、同じ画像の異なる拡張ビューのターゲットネットワーク表現を予測する。 バッチ非依存正規化方式でバッチ正規化を置き換えることにより,バニラBYOLに匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-20T13:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。