論文の概要: Robust Semi-Supervised Learning with Out of Distribution Data

• arxiv url: http://arxiv.org/abs/2010.03658v2
• Date: Thu, 14 Jan 2021 04:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:57:00.980505
• Title: Robust Semi-Supervised Learning with Out of Distribution Data
• Title（参考訳）: 分布データを用いたロバスト半教師付き学習
• Authors: Xujiang Zhao, Killamsetty Krishnateja, Rishabh Iyer, Feng Chen
• Abstract要約: 最近の研究は、ラベルなしセットが配布外例(OOD)を持つ場合、SSLアルゴリズムのパフォーマンスが低下する可能性があることを示している。 本稿では,既存のSSLアルゴリズムに容易に拡張可能な,新しい統一ロバストSSL手法を提案する。
• 参考スコア（独自算出の注目度）: 6.68290213951907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent Semi-supervised learning (SSL) works show significant improvement in SSL algorithms' performance using better-unlabeled data representations. However, recent work [Oliver et al., 2018] shows that the SSL algorithm's performance could degrade when the unlabeled set has out-of-distribution examples (OODs). In this work, we first study the critical causes of OOD's negative impact on SSL algorithms. We found that (1) the OOD's effect on the SSL algorithm's performance increases as its distance to the decision boundary decreases, and (2) Batch Normalization (BN), a popular module, could degrade the performance instead of improving the performance when the unlabeled set contains OODs. To address the above causes, we proposed a novel unified-robust SSL approach that can be easily extended to many existing SSL algorithms, and improve their robustness against OODs. In particular, we propose a simple modification of batch normalization, called weighted batch normalization, that improves BN's robustness against OODs. We also developed two efficient hyper-parameter optimization algorithms that have different tradeoffs in computational efficiency and accuracy. Extensive experiments on synthetic and real-world datasets prove that our proposed approaches significantly improves the robustness of four representative SSL algorithms against OODs compared with four state-of-the-art robust SSL approaches.
• Abstract（参考訳）: 最近の半教師付き学習(SSL)研究は、より良いラベル付きデータ表現を用いてSSLアルゴリズムの性能を大幅に改善したことを示している。 しかし、最近の研究[Oliver et al., 2018]は、未ラベルセットが配布外例(OOD)を持つ場合、SSLアルゴリズムのパフォーマンスが低下する可能性があることを示している。 本研究は,OODがSSLアルゴリズムに負の影響を及ぼす重大な原因を最初に研究する。 その結果,(1) SSLアルゴリズムの性能に対するOODの効果は,決定境界までの距離が減少するにつれて増大し,(2) 人気モジュールである Batch Normalization (BN) は,ラベルなしセットがOODを含む場合に性能を低下させることなく,性能を劣化させることができた。 このような問題に対処するため,既存のSSLアルゴリズムに容易に拡張可能な新しい統一ロバストSSL手法を提案し,OODに対するロバスト性を向上した。 具体的には、BNのOODに対する堅牢性を改善するため、重み付けバッチ正規化と呼ばれるバッチ正規化の簡単な修正を提案する。 また,計算効率と精度のトレードオフが異なる2つの高パラメータ最適化アルゴリズムを開発した。 総合的および実世界のデータセットに関する広範囲な実験により,提案手法が4つの代表的なsslアルゴリズムのoodに対するロバスト性を大幅に向上していることが証明された。

関連論文リスト

• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
  自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。 異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-08T23:42:06Z)
• Can semi-supervised learning use all the data effectively? A lower bound perspective [58.71657561857055]
  半教師付き学習アルゴリズムはラベル付きデータを利用して教師付き学習アルゴリズムのラベル付きサンプル複雑性を改善することができることを示す。 我々の研究は、SSLアルゴリズムのパフォーマンス向上を証明することは可能だが、定数の注意深く追跡する必要があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-30T13:48:50Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency [30.94964727745347]
  そこで我々は,ASSL(Active Semi-supervised Learning)と呼ばれる手法を提案し,低コストでモデルの精度を向上させる。 ASSLには、ラベルなしデータの使用により、アクティブラーニング(AL)よりもダイナミックなモデル更新が含まれている。 ASSLは同じ性能を保ちながら、半教師あり学習(SSL)の約5.3倍の計算効率を達成した。
  論文  参考訳（メタデータ） (2023-03-15T22:58:23Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Interpolation-based Contrastive Learning for Few-Label Semi-Supervised Learning [43.51182049644767]
  半教師付き学習(SSL)は,ラベルが限定された強力なモデルを構築する上で,有効な手法であることが長年証明されてきた。 摂動サンプルを元のものと類似した予測を強制する正規化に基づく手法が注目されている。 本稿では,学習ネットワークの埋め込みを誘導し,サンプル間の線形変化を誘導する新たな対照的な損失を提案する。
  論文  参考訳（メタデータ） (2022-02-24T06:00:05Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• RETRIEVE: Coreset Selection for Efficient and Robust Semi-Supervised Learning [9.155410614399159]
  効率的で堅牢な半教師付き学習のためのコアセット選択フレームワークであるRETRIEVEを提案する。 我々は,RETRIEVEが従来のSSL設定で約3倍の高速化を実現し,最先端(SOTA)の堅牢なSSLアルゴリズムと比較して5倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-14T21:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。