論文の概要: Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training

• arxiv url: http://arxiv.org/abs/2304.11357v1
• Date: Sat, 22 Apr 2023 09:35:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 18:58:06.559422
• Title: Learning Symbolic Representations Through Joint GEnerative and DIscriminative Training
• Title（参考訳）: 共同探索と識別訓練による記号表現の学習
• Authors: Emanuele Sansone, Robin Manhaeve
• Abstract要約: GEDIは、自己教師付き学習目標と可能性に基づく生成モデルを組み合わせたベイズ的フレームワークである。 GEDIは,クラスタリング性能において,既存の自己教師型学習戦略よりも大幅に向上することを示した。
• 参考スコア（独自算出の注目度）: 3.6804038214708563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce GEDI, a Bayesian framework that combines existing self-supervised learning objectives with likelihood-based generative models. This framework leverages the benefits of both GEnerative and DIscriminative approaches, resulting in improved symbolic representations over standalone solutions. Additionally, GEDI can be easily integrated and trained jointly with existing neuro-symbolic frameworks without the need for additional supervision or costly pre-training steps. We demonstrate through experiments on real-world data, including SVHN, CIFAR10, and CIFAR100, that GEDI outperforms existing self-supervised learning strategies in terms of clustering performance by a significant margin. The symbolic component further allows it to leverage knowledge in the form of logical constraints to improve performance in the small data regime.
• Abstract（参考訳）: 我々は,既存の自己教師付き学習目標と確率に基づく生成モデルを組み合わせたベイジアンフレームワークであるgediを紹介する。 このフレームワークは生成的アプローチと識別的アプローチの両方の利点を活用し、スタンドアローンソリューションよりも象徴的表現を改善した。 さらに、GEDIは、追加の監督やコストのかかる事前訓練ステップを必要とせずに、既存のニューロシンボリックフレームワークと簡単に統合およびトレーニングすることができる。 我々は,SVHN,CIFAR10,CIFAR100などの実世界のデータ実験を通じて,GEDIがクラスタリング性能において,既存の自己教師型学習戦略を著しく上回ることを示す。 さらにシンボリックなコンポーネントは、小さなデータレジームのパフォーマンスを改善するために、論理的な制約という形での知識を活用することができる。

関連論文リスト

• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• A Bayesian Unification of Self-Supervised Clustering and Energy-Based Models [11.007541337967027]
  我々は、最先端の自己教師型学習目標のベイズ分析を行う。 目的関数が既存の自己教師型学習戦略より優れていることを示す。 また、GEDIをニューロシンボリックな枠組みに統合できることを実証した。
  論文  参考訳（メタデータ） (2023-12-30T04:46:16Z)
• Structural Adversarial Objectives for Self-Supervised Representation Learning [19.471586646254373]
  本稿では,自己指導型表現学習の差別化を,構造モデリングの責務を付加することで行うことを提案する。 ネットワーク上の効率的なスムーズ性正規化器と組み合わせて、これらの目的は識別器を案内し、情報表現の抽出を学ぶ。 実験により,GANを自己指導対象に組み込むことで,表現学習の観点から評価された差別化要因が,対照的な学習アプローチによって訓練されたネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-09-30T12:27:53Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning [3.6804038214708563]
  我々は最先端の自己教師型学習目標について検討し、確率学習に基づく統一的な定式化を提案する。 我々は、この組み合わせフレームワークをGEDIと呼び、これはGEnerativeおよびDIscriminative Trainingの略である。 GEDIはクラスタリング性能において,既存の自己教師型学習戦略よりも広いマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-27T09:33:50Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Weakly Supervised Disentangled Representation for Goal-conditioned Reinforcement Learning [15.698612710580447]
  本稿では,サンプル効率の向上と政策一般化を目的としたスキル学習フレームワークDR-GRLを提案する。 本稿では,解釈可能かつ制御可能な表現を学習するための空間変換オートエンコーダ(STAE)を提案する。 DR-GRLは, 試料効率と政策一般化において, 従来の手法よりも有意に優れていたことを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-28T09:05:14Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。