論文の概要: On the Universality of Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2405.01053v4
• Date: Mon, 17 Feb 2025 12:50:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 20:34:44.195823
• Title: On the Universality of Self-Supervised Representation Learning
• Title（参考訳）: 自己監督型表現学習の普遍性について
• Authors: Wenwen Qiang, Jingyao Wang, Lingyu Si, Chuxiong Sun, Fuchun Sun, Hui Xiong,
• Abstract要約: i) 識別可能性: トレーニングサンプルで良好に動作すること; (ii) 一般化: 目に見えないデータセットで良好に動作すること; (iii) 転送可能性。 その重要性にもかかわらず、現在の自己教師付き学習法は普遍性の明示的なモデリングを欠いている。
• 参考スコア（独自算出の注目度）: 34.41598671528215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the characteristics that define a good representation or model. We propose that such a representation or model should possess universality, characterized by: (i) discriminability: performing well on training samples; (ii) generalization: performing well on unseen datasets; and (iii) transferability: performing well on unseen tasks with distribution shifts. Despite its importance, current self-supervised learning (SSL) methods lack explicit modeling of universality, and theoretical analysis remains underexplored. To address these issues, we aim to explore and incorporate universality into SSL. Specifically, we first revisit SSL from a task perspective and find that each mini-batch can be viewed as a multi-class classification task. We then propose that a universal SSL model should achieve: (i) learning universality by minimizing loss across all training samples, and (ii) evaluation universality by learning causally invariant representations that generalize well to unseen tasks. To quantify this, we introduce a $\sigma$-measurement that assesses the gap between the performance of SSL model and optimal task-specific models. Furthermore, to model universality, we propose the GeSSL framework. It first learns task-specific models by minimizing SSL loss, then incorporates future updates to enhance discriminability, and finally integrates these models to learn from multiple tasks. Theoretical and empirical evidence supports the effectiveness of GeSSL.
• Abstract（参考訳）: 本稿では,良い表現やモデルを定義する特徴について考察する。 このような表現やモデルが普遍性を持つべきであると提案する。 一 識別性:訓練サンプルにおいてよく行うこと。 (ii)一般化:見知らぬデータセットでうまく機能し、 (三)伝達可能性:分布シフトを伴う見当たらないタスクをうまく行うこと。 その重要性にもかかわらず、現在の自己教師付き学習(SSL)手法は普遍性の明示的なモデリングを欠いている。 これらの問題に対処するために、普遍性をSSLに探求し、組み込むことを目標としています。 具体的には,タスクの観点からSSLを再検討し,各ミニバッチをマルチクラス分類タスクとみなすことができることを示す。 次に、普遍的なSSLモデルを実現することを提案する。 一 すべての訓練サンプルの損失を最小化して普遍性を学ぶこと。 (2)不明瞭なタスクによく一般化する因果不変表現の学習による普遍性の評価。 これの定量化のために,SSLモデルの性能と最適なタスク固有モデルとのギャップを評価する$\sigma$-measurementを導入する。 さらに、普遍性をモデル化するために、GeSSLフレームワークを提案する。 まず、SSL損失を最小限にしてタスク固有のモデルを学習し、次に、将来のアップデートを取り入れて差別性を高め、最後にこれらのモデルを統合して複数のタスクから学習する。 理論的および実証的な証拠はGeSSLの有効性を支持する。

関連論文リスト

• Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why [50.191655141020505]
  この調査は、デモから学ぶ機能ベースのアプローチとGANベースのアプローチの比較分析を提供する。 特徴に基づく手法とGANに基づく手法の2分法はますます曖昧になっていると我々は主張する。
  論文  参考訳（メタデータ） (2025-07-08T11:45:51Z)
• Exploring the Potential of SSL Models for Sound Event Detection [6.6731129629430725]
  自己教師付き学習(SSL)モデルは、音事象検出(SED)のための強力な表現を提供する 本研究では,SEDの最適モデル選択と統合を導くために,最先端のSSLモデルを体系的に評価する。 本稿では,各SSL埋め込み統合,デュアルモーダル融合,フルアグリゲーションという3つの融合戦略を通じて,異種SSL表現を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-17T07:54:31Z)
• Position: An Empirically Grounded Identifiability Theory Will Accelerate Self-Supervised Learning Research [25.564440860986757]
  自己監視学習(SSL)は多くの現在のAIシステムを動かしている。 SSLのプラトン的見解は、異なる方法や工学的アプローチにもかかわらず、すべての表現は同じプラトン的イデアルに収束することを示唆している。 我々は Identifiability Theory (IT) を Singular Identifiability Theory (SITh) と呼ぶものに拡張することを提案する。
  論文  参考訳（メタデータ） (2025-04-17T17:10:33Z)
• Unified Enhancement of the Generalization and Robustness of Language Models via Bi-Stage Optimization [2.502393972789905]
  本稿では,LMの一般化とロバスト性の両方を均一に向上する二段階最適化フレームワークを提案する。 提案手法は,従来の手法と比較して,LMの一般化とロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-03-19T13:50:36Z)
• OwMatch: Conditional Self-Labeling with Consistency for Open-World Semi-Supervised Learning [4.462726364160216]
  半教師付き学習(SSL)は、注釈のないデータの可能性を活用するための堅牢なフレームワークを提供する。 オープンワールドSSL(OwSSL)の出現は、ラベルのないデータが目に見えないクラスのサンプルを包含する、より実践的な課題をもたらす。 我々は,条件付き自己ラベルとオープンワールド階層しきい値を組み合わせたOwMatchという効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T06:07:43Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、様々な視覚的タスクで顕著な成功を収めた。 しかし、差別性という点では、SSLは依然として教師あり学習(SL)と同等ではない。 本稿では,異なるクラスの特徴が十分に分離されていない「群集問題」について論じる。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Self-Supervised Skeleton-Based Action Representation Learning: A Benchmark and Beyond [19.074841631219233]
  自己教師付き学習(SSL)は骨格に基づく行動理解に有効であることが証明されている。 本稿では,自己教師型骨格に基づく行動表現学習に関する包括的調査を行う。
  論文  参考訳（メタデータ） (2024-06-05T06:21:54Z)
• Using Self-supervised Learning Can Improve Model Fairness [10.028637666224093]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。 SSLの公平性評価フレームワークを導入し、データセット要件の定義、事前トレーニング、段階的凍結による微調整、人口統計学的に条件付けられた表現類似性の評価、ドメイン固有の評価プロセスの確立の5段階を含む。
  論文  参考訳（メタデータ） (2024-06-04T14:38:30Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• Benchmarking General-Purpose In-Context Learning [19.40952728849431]
  In-context Learning (ICL) は、生成モデルに新しいタスクを効果的に、かつ効率的にオンザフライで対処する権限を与える。 本稿では,より広い範囲の課題に対処するためのICLの拡張について検討する。 GPICLの機能のトレーニングと評価に特化して開発されたベンチマークを2つ導入する。
  論文  参考訳（メタデータ） (2024-05-27T14:50:42Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
  大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。 本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。 生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
  論文  参考訳（メタデータ） (2024-03-14T08:18:59Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data [10.626503137418636]
  自己教師型学習(SSL)は,大規模モデルのデファクトトレーニングパラダイムとなっている。 本研究では,事前学習と微調整が公正性に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2024-01-03T09:31:43Z)
• ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
  対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。 提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-12-14T15:53:07Z)
• Representation Learning Dynamics of Self-Supervised Models [7.289672463326423]
  自己監視学習(SSL)は、非競合データから表現を学習するための重要なパラダイムである。 SSLモデルの学習力学、特に対照的な損失と非対照的な損失を最小化して得られる表現について検討する。 グラスマン多様体上の勾配降下を用いて訓練されたSSLモデルの正確な学習ダイナミクスを導出する。
  論文  参考訳（メタデータ） (2023-09-05T07:48:45Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• A Study of the Generalizability of Self-Supervised Representations [0.0]
  近年の自己教師付き学習(SSL)により、ラベルのないデータから一般化可能な視覚表現を学習できるようになった。 本稿では,SSLモデルとSLモデルの一般化可能性について,その予測精度および予測信頼度を用いて検討する。 SSL表現はSL表現と比較して一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-09-19T15:57:37Z)
• Contrastive Syn-to-Real Generalization [125.54991489017854]
  我々は,学習した特徴埋め込みの多様性が一般化性能に重要な役割を果たすことを重要視する。 本研究では,イメージネットの知識を生かして合成領域への過剰適合を防ぐ新しい枠組みであるコントラスト合成から実への一般化(csg)を提案する。 CSGの各種合成訓練における効果を実証し、ゼロショット領域の一般化に対する最先端性能を示す。
  論文  参考訳（メタデータ） (2021-04-06T05:10:29Z)
• Meta-Learned Attribute Self-Gating for Continual Generalized Zero-Shot Learning [82.07273754143547]
  トレーニング中に見られないカテゴリにモデルを一般化するためのメタ連続ゼロショット学習(MCZSL)アプローチを提案する。 属性の自己決定とスケールしたクラス正規化をメタラーニングベースのトレーニングと組み合わせることで、最先端の成果を上回ることができるのです。
  論文  参考訳（メタデータ） (2021-02-23T18:36:14Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Aggregative Self-Supervised Feature Learning from a Limited Sample [12.555160911451688]
  自己教師付き学習特徴の頑健性を高めるために,様々な形態の相補性の観点から2つのアグリゲーション戦略を提案する。 限られたデータシナリオ下での2次元自然画像および3次元医用画像分類タスクの実験により,提案手法が分類精度を向上できることが確認された。
  論文  参考訳（メタデータ） (2020-12-14T12:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。