論文の概要: Distribution Matching for Self-Supervised Transfer Learning

• arxiv url: http://arxiv.org/abs/2502.14424v1
• Date: Thu, 20 Feb 2025 10:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:21.487114
• Title: Distribution Matching for Self-Supervised Transfer Learning
• Title（参考訳）: 自己監督型伝達学習のための分布マッチング
• Authors: Yuling Jiao, Wensen Ma, Defeng Sun, Hansheng Wang, Yang Wang,
• Abstract要約: 本研究では,分散マッチングと呼ばれる自己教師型トランスファー学習手法を提案する。 DMは,既存の自己教師ありトランスファー学習法と比較して,目標分類タスクにおいて競合的に機能することを示す。 我々は、集団定理やエンドツーエンドのサンプル定理を含む、DMに対する堅牢な理論的保証を提供する。
• 参考スコア（独自算出の注目度）: 9.549045683389085
• License:
• Abstract: In this paper, we propose a novel self-supervised transfer learning method called Distribution Matching (DM), which drives the representation distribution toward a predefined reference distribution while preserving augmentation invariance. The design of DM results in a learned representation space that is intuitively structured and offers easily interpretable hyperparameters. Experimental results across multiple real-world datasets and evaluation metrics demonstrate that DM performs competitively on target classification tasks compared to existing self-supervised transfer learning methods. Additionally, we provide robust theoretical guarantees for DM, including a population theorem and an end-to-end sample theorem. The population theorem bridges the gap between the self-supervised learning task and target classification accuracy, while the sample theorem shows that, even with a limited number of samples from the target domain, DM can deliver exceptional classification performance, provided the unlabeled sample size is sufficiently large.
• Abstract（参考訳）: 本稿では,拡張不変性を保ちつつ,事前定義された参照分布に対する表現分布を駆動する,分散マッチング(DM)と呼ばれる自己教師型トランスファー学習手法を提案する。 DMの設計は直感的に構造化され、容易に解釈可能なハイパーパラメータを提供する学習表現空間をもたらす。 複数の実世界のデータセットと評価指標にまたがる実験結果から、DMは既存の自己教師ありトランスファー学習法と比較して、目標分類タスクにおいて競合的に機能することが示された。 さらに、人口定理やエンドツーエンドのサンプル定理を含む、DMに対する堅牢な理論的保証を提供する。 集団定理は自己教師型学習課題と対象分類精度のギャップを埋めるものであり、サンプル定理は、対象領域からのサンプル数が限られているにもかかわらず、ラベルなしサンプルサイズが十分に大きい場合、DMは例外的な分類性能を提供できることを示している。

関連論文リスト

• Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
  我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。 このような修正により、一様かつ通常に分散した表現を学習できることを示す。 その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
  論文  参考訳（メタデータ） (2024-10-09T15:40:04Z)
• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• A Distributional Analogue to the Successor Representation [54.99439648059807]
  本稿では,分散強化学習のための新しい手法を提案する。 学習プロセスにおける遷移構造と報酬のクリーンな分離を解明する。 実例として,ゼロショットリスクに敏感な政策評価が可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T15:35:24Z)
• Distribution Shift Inversion for Out-of-Distribution Prediction [57.22301285120695]
  本稿では,OoD(Out-of-Distribution)予測のためのポータブル分布シフト変換アルゴリズムを提案する。 提案手法は,OoDアルゴリズムを広範囲に接続した場合に,一般的な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-14T08:00:49Z)
• On Reinforcement Learning and Distribution Matching for Fine-Tuning Language Models with no Catastrophic Forgetting [5.5302127686575435]
  Reward Maximization (RM) と、最近では Distribution Matching (DM) の2つのパラダイムがこの課題に取り組むために登場した。 RM用に開発されたKL制御などの手法も,DMに属するものと解釈できることを示す。 2つのパラダイム間の接続を利用して、ベースラインの概念をDMメソッドにインポートします。
  論文  参考訳（メタデータ） (2022-06-01T20:54:41Z)
• Self-Supervised Learning by Estimating Twin Class Distributions [26.7828253129684]
  本稿では,大規模未ラベルデータセットをエンドツーエンドに分類し,自己教師付き表現学習手法TWISTを提案する。 2つの拡張画像の2つのクラス分布を生成するために、ソフトマックス演算で終了するシマセネットワークを用いる。 具体的には、各サンプルの分布のエントロピーを最小化し、各サンプルのクラス予測を行い、平均分布のエントロピーを最大化し、異なるサンプルの予測を多様化させる。
  論文  参考訳（メタデータ） (2021-10-14T14:39:39Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Multi-Class Data Description for Out-of-distribution Detection [25.853322158250435]
  Deep-MCDDは、分布外(OOD)サンプルを検出するだけでなく、分布内(ID)サンプルを分類するのに効果的です。 ガウス微分分析の概念をディープニューラルネットワークに統合することにより,クラス条件分布を学習する深層学習目標を提案する。
  論文  参考訳（メタデータ） (2021-04-02T08:41:51Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。