論文の概要: Explicit Mutual Information Maximization for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2409.04747v3
• Date: Thu, 12 Sep 2024 16:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 13:20:50.114930
• Title: Explicit Mutual Information Maximization for Self-Supervised Learning
• Title（参考訳）: 自己教師付き学習のための説明的相互情報の最大化
• Authors: Lele Chang, Peilin Liu, Qinghai Guo, Fei Wen,
• Abstract要約: 理論的には、相互情報(MIM)は自己教師型学習(SSL)の最適基準である この研究は、MIの明示的な性質に基づいて、一般的な分布仮定の下で、MIがSSLに適用可能であることを示している。 2次統計量のみを用いてMIM基準に基づく損失関数を導出する。
• 参考スコア（独自算出の注目度）: 23.41734709882332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, self-supervised learning (SSL) has been extensively studied. Theoretically, mutual information maximization (MIM) is an optimal criterion for SSL, with a strong theoretical foundation in information theory. However, it is difficult to directly apply MIM in SSL since the data distribution is not analytically available in applications. In practice, many existing methods can be viewed as approximate implementations of the MIM criterion. This work shows that, based on the invariance property of MI, explicit MI maximization can be applied to SSL under a generic distribution assumption, i.e., a relaxed condition of the data distribution. We further illustrate this by analyzing the generalized Gaussian distribution. Based on this result, we derive a loss function based on the MIM criterion using only second-order statistics. We implement the new loss for SSL and demonstrate its effectiveness via extensive experiments.
• Abstract（参考訳）: 近年,自己教師型学習(SSL)が広く研究されている。 理論的には、相互情報最大化(MIM)はSSLの最適基準であり、情報理論の強力な理論的基礎である。 しかし、データ分散がアプリケーションで分析的に利用できないため、SSLにMIMを直接適用することは困難である。 実際には、多くの既存の手法をMIM基準の近似実装と見なすことができる。 この研究は、MIの不変性に基づいて、データ分散の緩和条件である一般的な分布仮定の下で、明示的なMIの最大化をSSLに適用できることを示している。 さらに、一般化されたガウス分布を解析することによって、これを説明できる。 この結果に基づき、2次統計量のみを用いてMIM基準に基づく損失関数を導出する。 我々はSSLの新たな損失を実装し、その効果を広範な実験を通じて実証する。

関連論文リスト

• Pruning the Unlabeled Data to Improve Semi-Supervised Learning [17.62242617965356]
  PruneSSLは、オリジナルのラベルなしデータセットからサンプルを選択的に削除し、分離性を高める技術である。 PruneSSLは学習者の利用可能なトレーニングデータの量を減らすが、様々な競合するSSLアルゴリズムの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-08-27T09:45:41Z)
• MaxMatch: Semi-Supervised Learning with Worst-Case Consistency [149.03760479533855]
  半教師付き学習(SSL)のための最悪ケース整合正則化手法を提案する。 本稿では,ラベル付きトレーニングデータとラベル付きトレーニングデータとを別々に比較した経験的損失項からなるSSLの一般化について述べる。 この境界によって動機づけられたSSLの目的は、元のラベルのないサンプルと、その複数の拡張版との最大の矛盾を最小限に抑えるものである。
  論文  参考訳（メタデータ） (2022-09-26T12:04:49Z)
• Sampling is as easy as learning the score: theory for diffusion models with minimal data assumptions [45.04514545004051]
  スコアベース生成モデル(SGM)に対する収束保証を提供する。 また、臨界減衰ランゲヴィン拡散(CLD)に基づくSGMについても検討する。
  論文  参考訳（メタデータ） (2022-09-22T17:55:01Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Semi-supervised learning objectives as log-likelihoods in a generative model of data curation [32.45282187405337]
  データキュレーションの生成モデルにおいて、SSLの目的をログライクな形式として定式化する。 おもちゃのデータにベイジアンSSLの証明を与える。
  論文  参考訳（メタデータ） (2020-08-13T13:50:27Z)
• CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information [105.73798100327667]
  本稿では,相互情報の対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物対物 CLUBの特性とその変分近似に関する理論的解析を行う。 この上限に基づいてMI最小化学習手法を導入し、さらに負のサンプリング戦略で加速する。
  論文  参考訳（メタデータ） (2020-06-22T05:36:16Z)
• A Probabilistic Model for Discriminative and Neuro-Symbolic Semi-Supervised Learning [6.789370732159177]
  本稿では、その古典的な生成過程を反映した識別的SSLの確率モデルを提案する。 我々は、よく知られたSSLメソッドを事前の近似として解釈でき、改善可能であることを示す。 我々は識別モデルをニューロシンボリックSSLに拡張し、上記のルールを直接関連付けることによって、ラベルの特徴が論理規則を満たすようにした。
  論文  参考訳（メタデータ） (2020-06-10T15:30:54Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。