論文の概要: On the Out-of-Distribution Generalization of Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2505.16675v1
• Date: Thu, 22 May 2025 13:40:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.333605
• Title: On the Out-of-Distribution Generalization of Self-Supervised Learning
• Title（参考訳）: 自己指導型学習のアウト・オブ・ディストリビューション一般化について
• Authors: Wenwen Qiang, Jingyao Wang, Zeen Song, Jiangmeng Li, Changwen Zheng,
• Abstract要約: 構造因果モデルに基づく後干渉分布(PID)を提案する。 PIDは、スプリアス変数とラベル変数が相互に独立なシナリオを提供する。 我々は、潜在変数モデルの学習を通じて、PID制約を強制するバッチサンプリング戦略を開発する。
• 参考スコア（独自算出の注目度）: 15.089728402281056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on the out-of-distribution (OOD) generalization of self-supervised learning (SSL). By analyzing the mini-batch construction during the SSL training phase, we first give one plausible explanation for SSL having OOD generalization. Then, from the perspective of data generation and causal inference, we analyze and conclude that SSL learns spurious correlations during the training process, which leads to a reduction in OOD generalization. To address this issue, we propose a post-intervention distribution (PID) grounded in the Structural Causal Model. PID offers a scenario where the spurious variable and label variable is mutually independent. Besides, we demonstrate that if each mini-batch during SSL training satisfies PID, the resulting SSL model can achieve optimal worst-case OOD performance. This motivates us to develop a batch sampling strategy that enforces PID constraints through the learning of a latent variable model. Through theoretical analysis, we demonstrate the identifiability of the latent variable model and validate the effectiveness of the proposed sampling strategy. Experiments conducted on various downstream OOD tasks demonstrate the effectiveness of the proposed sampling strategy.
• Abstract（参考訳）: 本稿では,自己教師付き学習(SSL)のアウト・オブ・ディストリビューション(OOD)の一般化に焦点を当てる。 SSLトレーニング期間中のミニバッチ構成を解析することにより,OODを一般化したSSLについて,まず1つの妥当な説明を行う。 そして、データ生成と因果推論の観点から、SSLはトレーニングプロセス中に急激な相関を学習し、OOD一般化の低減につながると結論づける。 この問題に対処するために,構造因果モデルに基づく後干渉分布(PID)を提案する。 PIDは、スプリアス変数とラベル変数が相互に独立なシナリオを提供する。 さらに、SSLトレーニング中の各ミニバッチがPIDを満たすと、結果のSSLモデルは最適な最悪のOOD性能が得られることを示した。 これは、潜在変数モデルの学習を通じて、PID制約を強制するバッチサンプリング戦略を開発する動機となります。 理論的解析により,潜在変数モデルの同定可能性を示し,提案手法の有効性を検証した。 下流のOODタスクで行った実験は,提案手法の有効性を実証している。

関連論文リスト

• Parallel Split Learning with Global Sampling [9.57839529462706]
  クライアント側バッチサイズを動的に調整することで,グローバルバッチサイズを一定に保つサーバ駆動サンプリング戦略を導入する。 これにより、参加するデバイスの数から有効なバッチサイズを分離し、グローバルなバッチが全体のデータ分散をよりよく反映できるようにする。 ベンチマークデータセットにおける実験結果から,提案手法はモデルの精度,訓練効率,収束安定性を向上することを確認した。
  論文  参考訳（メタデータ） (2024-07-22T15:41:23Z)
• On the Universality of Self-Supervised Learning [35.98940987691948]
  優れた表現は普遍性を示すべきであり、識別可能性、一般化可能性、移動可能性という3つの重要な性質によって特徴づけられる。 我々は3つの相補的な次元から普遍性を明示的にモデル化する新しいフレームワークであるGeneral SSLを提案する。 理論的一般化バウンダリを導出し、GeSSLの最適化プロセスが一貫して、目に見えないタスクによく一般化する表現につながることを保証します。
  論文  参考訳（メタデータ） (2024-05-02T07:15:23Z)
• Exploration and Exploitation of Unlabeled Data for Open-Set Semi-Supervised Learning [130.56124475528475]
  半教師付き学習 (SSL) において, 未ラベルデータには, 内分布 (ID) と外分布 (OOD) の両方を含む, オープンセット SSL という複雑なシナリオに対処する。 提案手法は, 未ラベルデータにIDサンプルが完全に欠落している場合でも, 既存のSSL方式を改良する。
  論文  参考訳（メタデータ） (2023-06-30T14:25:35Z)
• On the Effectiveness of Out-of-Distribution Data in Self-Supervised Long-Tail Learning [15.276356824489431]
  我々は、長期学習(COLT)のためのOODデータを用いたコントラストを提案する。 我々はSSL長期学習におけるOODサンプルの対直感的有用性を実証的に同定した。 提案手法は,長い尾のデータセット上でのSSLの性能を大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-06-08T04:32:10Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• How robust are pre-trained models to distribution shift? [82.08946007821184]
  自己教師付き学習(SSL)と自己エンコーダベースモデル(AE)の相互関係が相互関係に与える影響を示す。 本研究では, 線形ヘッドの潜在バイアスから事前学習したモデルの性能を分離するために, アウト・オブ・ディストリビューション(OOD)データに基づいて訓練された線形ヘッドを用いた新しい評価手法を開発した。
  論文  参考訳（メタデータ） (2022-06-17T16:18:28Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。