論文の概要: GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2212.13425v1
• Date: Tue, 27 Dec 2022 09:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 14:15:33.342996
• Title: GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
• Title（参考訳）: GEDI:自己指導型学習のためのジェネリックで差別的なトレーニング
• Authors: Emanuele Sansone and Robin Manhaeve
• Abstract要約: 我々は最先端の自己教師型学習目標について検討し、確率学習に基づく統一的な定式化を提案する。 我々は、この組み合わせフレームワークをGEDIと呼び、これはGEnerativeおよびDIscriminative Trainingの略である。 GEDIはクラスタリング性能において,既存の自己教師型学習戦略よりも広いマージンで優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.6804038214708563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning is a popular and powerful method for utilizing large amounts of unlabeled data, for which a wide variety of training objectives have been proposed in the literature. In this study, we perform a Bayesian analysis of state-of-the-art self-supervised learning objectives and propose a unified formulation based on likelihood learning. Our analysis suggests a simple method for integrating self-supervised learning with generative models, allowing for the joint training of these two seemingly distinct approaches. We refer to this combined framework as GEDI, which stands for GEnerative and DIscriminative training. Additionally, we demonstrate an instantiation of the GEDI framework by integrating an energy-based model with a cluster-based self-supervised learning model. Through experiments on synthetic and real-world data, including SVHN, CIFAR10, and CIFAR100, we show that GEDI outperforms existing self-supervised learning strategies in terms of clustering performance by a wide margin. We also demonstrate that GEDI can be integrated into a neural-symbolic framework to address tasks in the small data regime, where it can use logical constraints to further improve clustering and classification performance.
• Abstract（参考訳）: 自己教師付き学習は、大量のラベルのないデータを活用するための一般的かつ強力な手法であり、文献に様々な訓練目的が提案されている。 本研究では,最先端の自己指導型学習目標のベイズ解析を行い,確率学習に基づく統一的な定式化を提案する。 本分析は、自己教師あり学習と生成モデルを統合するための簡易な手法を提案し、これら2つの異なるアプローチの協調訓練を可能にした。 我々は、この組み合わせフレームワークをGEDIと呼び、これはGEnerativeおよびDIscriminative Trainingの略である。 さらに,エネルギーモデルとクラスタベースの自己教師型学習モデルを統合することにより,GEDIフレームワークのインスタンス化を示す。 SVHN, CIFAR10, CIFAR100などの合成および実世界のデータを用いた実験により, GEDIはクラスタリング性能の点で, 既存の自己教師型学習戦略を上回る性能を示した。 また、GEDIをニューラルシンボリックなフレームワークに統合して、小さなデータ構造におけるタスクに対処し、論理的制約を用いてクラスタリングと分類性能をさらに向上させることができることを実証した。

関連論文リスト

• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Holonic Learning: A Flexible Agent-based Distributed Machine Learning Framework [0.0]
  Holonic Learning(HoL)は、ディープラーニングモデルのトレーニング用に設計された、協調的でプライバシを重視した学習フレームワークである。 ホロニックの概念を活用することで、HoLフレームワークは学習プロセスにおいて構造化された自己相似階層を確立する。 本稿では, すべてのホロンのモデルアグリゲーションに重み付け平均化を用いるHoloAvgを実装した。
  論文  参考訳（メタデータ） (2023-12-29T12:03:42Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training [3.6804038214708563]
  GEDIは、自己教師付き学習目標と可能性に基づく生成モデルを組み合わせたベイズ的フレームワークである。 GEDIは,クラスタリング性能において,既存の自己教師型学習戦略よりも大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-04-22T09:35:51Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。