論文の概要: Explicitly Modeling Universality into Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2405.01053v2
- Date: Sun, 19 May 2024 13:28:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 22:21:29.271897
- Title: Explicitly Modeling Universality into Self-Supervised Learning
- Title（参考訳）: 自己教師付き学習における普遍性の明示的モデリング
- Authors: Jingyao Wang, Wenwen Qiang, Changwen Zheng,
- Abstract要約: 自己教師型学習(SSL)における普遍性の理論的定義を提供する。
我々は、普遍性をSSLに明示的にモデル化する、GeSSLと呼ばれる一般的なSSLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 12.57396771974944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of universality in self-supervised learning (SSL) is to learn universal representations from unlabeled data and achieve excellent performance on all samples and tasks. However, these methods lack explicit modeling of the universality in the learning objective, and the related theoretical understanding remains limited. This may cause models to overfit in data-scarce situations and generalize poorly in real life. To address these issues, we provide a theoretical definition of universality in SSL, which constrains both the learning and evaluation universality of the SSL models from the perspective of discriminability, transferability, and generalization. Then, we propose a $\sigma$-measurement to help quantify the score of one SSL model's universality. Based on the definition and measurement, we propose a general SSL framework, called GeSSL, to explicitly model universality into SSL. It introduces a self-motivated target based on $\sigma$-measurement, which enables the model to find the optimal update direction towards universality. Extensive theoretical and empirical evaluations demonstrate the superior performance of GeSSL.
- Abstract（参考訳）: 自己教師付き学習(SSL)における普遍性の目標は、ラベルのないデータから普遍的な表現を学習し、すべてのサンプルやタスクにおいて優れたパフォーマンスを達成することである。
しかし、これらの手法は学習目的における普遍性の明示的なモデリングを欠いているため、関連する理論的理解は限られている。
これにより、モデルはデータスカースな状況に過度に適合し、現実の生活であまり一般化しない可能性がある。
これらの問題に対処するため、SSLモデルの学習と評価の普遍性の両方を、識別可能性、転送可能性、一般化の観点から制約する、SSLにおける普遍性の理論的定義を提供する。
そこで我々は,あるSSLモデルの普遍性のスコアの定量化を支援するために,$\sigma$-measurementを提案する。
定義と測定に基づいて、汎用性をSSLに明示的にモデル化する、GeSSLと呼ばれる一般的なSSLフレームワークを提案する。
これは$\sigma$-measurementに基づく自己動機的ターゲットを導入し、モデルが普遍性に対する最適な更新方向を見つけることを可能にする。
広範囲な理論的および経験的評価は、GeSSLの優れた性能を示している。
関連論文リスト
- Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳（メタデータ） (2024-06-07T11:37:45Z) - Self-Supervised Skeleton-Based Action Representation Learning: A Benchmark and Beyond [19.074841631219233]
自己教師付き学習(SSL)は骨格に基づく行動理解に有効であることが証明されている。
本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
論文 参考訳（メタデータ） (2024-06-05T06:21:54Z) - Using Self-supervised Learning Can Improve Model Fairness [10.028637666224093]
自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。
本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
論文 参考訳（メタデータ） (2024-06-04T14:38:30Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳（メタデータ） (2024-04-11T04:22:15Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。
提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文 参考訳（メタデータ） (2023-12-14T15:53:07Z) - Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。
本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
論文 参考訳（メタデータ） (2022-08-24T04:26:21Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳（メタデータ） (2021-01-18T10:12:31Z) - Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。
限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
論文 参考訳（メタデータ） (2020-12-14T12:49:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。