論文の概要: Adv-SSL: Adversarial Self-Supervised Representation Learning with Theoretical Guarantees
- arxiv url: http://arxiv.org/abs/2408.08533v2
- Date: Mon, 20 Oct 2025 13:12:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:38.067219
- Title: Adv-SSL: Adversarial Self-Supervised Representation Learning with Theoretical Guarantees
- Title（参考訳）: Adv-SSL: 理論的保証を伴う対向的自己監督型表現学習
- Authors: Chenguang Duan, Yuling Jiao, Huazhen Lin, Wensen Ma, Jerry Zhijian Yang,
- Abstract要約: 本稿では,アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインbf アンダーラインb
我々のアプローチは、既存のメソッドを複数のベンチマークデータセットで上回るだけでなく、包括的なエンドツーエンドの理論的保証によってもサポートされています。
- 参考スコア（独自算出の注目度）: 13.101271535462118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning transferable data representations from abundant unlabeled data remains a central challenge in machine learning. Although numerous self-supervised learning methods have been proposed to address this challenge, a significant class of these approaches aligns the covariance or correlation matrix with the identity matrix. Despite impressive performance across various downstream tasks, these methods often suffer from biased sample risk, leading to substantial optimization shifts in mini-batch settings and complicating theoretical analysis. In this paper, we introduce a novel \underline{\bf Adv}ersarial \underline{\bf S}elf-\underline{\bf S}upervised Representation \underline{\bf L}earning (Adv-SSL) for unbiased transfer learning with no additional cost compared to its biased counterparts. Our approach not only outperforms the existing methods across multiple benchmark datasets but is also supported by comprehensive end-to-end theoretical guarantees. Our analysis reveals that the minimax optimization in Adv-SSL encourages representations to form well-separated clusters in the embedding space, provided there is sufficient upstream unlabeled data. As a result, our method achieves strong classification performance even with limited downstream labels, shedding new light on few-shot learning.
- Abstract（参考訳）: 豊富なラベルのないデータから転送可能なデータ表現を学習することは、マシンラーニングにおいて依然として中心的な課題である。
この課題に対処するために、多くの自己教師付き学習手法が提案されているが、これらのアプローチの重要なクラスは、共分散行列または相関行列をアイデンティティ行列と整合させる。
下流の様々なタスクにおいて顕著なパフォーマンスにもかかわらず、これらの手法はしばしばバイアスのかかるサンプルリスクに悩まされ、ミニバッチ設定の大幅な最適化や理論解析の複雑化につながる。
本稿では,非バイアスな転送学習において,非バイアスな転送学習に要する費用を,バイアスのある処理に比し,余分なコストがかからない,小説 \underline{\bf Adv}ersarial \underline{\bf S}elf-\underline{\bf S}upervised Representation \underline{\bf L}earning (Adv-SSL) を紹介する。
我々のアプローチは、既存のメソッドを複数のベンチマークデータセットで上回るだけでなく、包括的なエンドツーエンドの理論的保証によってもサポートされています。
解析の結果,Adv-SSLにおけるミニマックス最適化は,十分に上流にラベルのないデータが存在する場合,埋め込み空間において,表現が適切に分離されたクラスタを形成することを助長することがわかった。
その結果,下流ラベルが限られている場合でも,この手法は強力な分類性能を達成し,数発の学習に新たな光を当てることができた。
関連論文リスト
- XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - Uncertainty-Aware Deep Co-training for Semi-supervised Medical Image
Segmentation [4.935055133266873]
本研究では,モデルが意図的に領域を学習するための新しい不確実性認識方式を提案する。
具体的には,不確実性マップを得るためにモンテカルロサンプリングを推定法として利用する。
後ろ向きのプロセスでは、ネットワークの収束を加速するために、教師なしの損失と教師なしの損失を共同で処理する。
論文 参考訳（メタデータ） (2021-11-23T03:26:24Z) - Semi-Supervised Active Learning with Temporal Output Discrepancy [42.01906895756629]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-07-29T16:25:56Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳（メタデータ） (2020-09-30T05:19:56Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。