論文の概要: Complementary Benefits of Contrastive Learning and Self-Training Under Distribution Shift

• arxiv url: http://arxiv.org/abs/2312.03318v1
• Date: Wed, 6 Dec 2023 07:02:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 15:53:40.701168
• Title: Complementary Benefits of Contrastive Learning and Self-Training Under Distribution Shift
• Title（参考訳）: 分布シフト下におけるコントラスト学習と自己学習の相補的効果
• Authors: Saurabh Garg, Amrith Setlur, Zachary Chase Lipton, Sivaraman Balakrishnan, Virginia Smith, Aditi Raghunathan
• Abstract要約: 自己学習とコントラスト学習は、ラベルのないデータを組み込むための指導的手法として登場した。 これらの技術の人気と互換性にもかかわらず、それらの組み合わせの有効性は未解明のままである。
• 参考スコア（独自算出の注目度）: 45.92264732270385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-training and contrastive learning have emerged as leading techniques for incorporating unlabeled data, both under distribution shift (unsupervised domain adaptation) and when it is absent (semi-supervised learning). However, despite the popularity and compatibility of these techniques, their efficacy in combination remains unexplored. In this paper, we undertake a systematic empirical investigation of this combination, finding that (i) in domain adaptation settings, self-training and contrastive learning offer significant complementary gains; and (ii) in semi-supervised learning settings, surprisingly, the benefits are not synergistic. Across eight distribution shift datasets (e.g., BREEDs, WILDS), we demonstrate that the combined method obtains 3--8% higher accuracy than either approach independently. We then theoretically analyze these techniques in a simplified model of distribution shift, demonstrating scenarios under which the features produced by contrastive learning can yield a good initialization for self-training to further amplify gains and achieve optimal performance, even when either method alone would fail.
• Abstract（参考訳）: 自己学習と対比学習は、分布シフト(教師なしドメイン適応)と欠落(教師なし学習)の両方において、ラベルなしデータを取り込むための主要な技術として登場している。 しかしながら、これらの技法の人気と互換性にもかかわらず、それらの組み合わせの有効性は未定である。 本稿では,この組み合わせの系統的実証調査を行い,その有効性について考察する。 (i)ドメイン適応設定において、自己学習と対照学習は相補的な利益をもたらす。 (ii) 半教師付き学習環境では, 驚くべきことに, 利点は相乗的ではない。 8つの分布シフトデータセット(例えば、BREEDs, WILDS)にわたって、組み合わせた手法は、どちらのアプローチよりも3-8%高い精度が得られることを示した。 そして、これらの手法を簡易な分散シフトモデルで理論的に解析し、対照的な学習によって得られる特徴が利得をさらに増幅し最適な性能を達成するための自己学習に優れた初期化をもたらすシナリオを示す。

関連論文リスト

• A Unified Contrastive Loss for Self-Training [3.3454373538792552]
  自己学習法は、半教師あり学習において、豊富なラベルのないデータを利用するのに有効であることが証明されている。 本稿では,CE損失の全ての事例を一意の対照的な損失に置き換える,自己学習手法を強化するための一般的な枠組みを提案する。 私たちのフレームワークは,ラベル付きデータに制限のある3つのデータセットに対して,大幅なパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2024-09-11T14:22:41Z)
• Efficient Ensembles Improve Training Data Attribution [12.180392191924758]
  トレーニングデータ帰属法は、データ中心AIにおける幅広い応用により、個々のデータポイントがモデル予測に与える影響を定量化することを目的としている。 この分野の既存の手法は、リトレーニングベースとグラデーションベースに分類されるが、有害なトレードオフ帰属効果に苦慮している。 近年の研究では、複数の独立に訓練されたモデルのアンサンブルによる勾配に基づく手法の強化が、より優れた帰属を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-05-27T15:58:34Z)
• From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
  本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。 公平な比較で最先端のパフォーマンスを達成する。 提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-11-16T15:47:49Z)
• Training Ensembles with Inliers and Outliers for Semi-supervised Active Learning [16.204251285425478]
  本研究では,3つの高相乗的成分を利用する手法を提案する。 インレーヤとアウトレーヤとのジョイントトレーニング、擬似ラベルによる半教師付き学習、モデルアンサンブルが使用される。 注目すべきは、その単純さにもかかわらず、提案手法はパフォーマンスという点で他の方法よりも優れています。
  論文  参考訳（メタデータ） (2023-07-07T17:50:07Z)
• Consistency-Based Semi-supervised Evidential Active Learning for Diagnostic Radiograph Classification [2.3545156585418328]
  CSEAL(Consistency-based Semi-supervised Evidential Active Learning)フレームワークについて紹介する。 我々は、証拠理論と主観的論理に基づく予測の不確実性を利用して、エンドツーエンドの統合アプローチを開発する。 本手法は, ラベル付きサンプルを少なくして, より稀な異常の精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-09-05T09:28:31Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。