論文の概要: The Role of Entropy and Reconstruction in Multi-View Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2307.10907v1
• Date: Thu, 20 Jul 2023 14:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 12:51:05.291946
• Title: The Role of Entropy and Reconstruction in Multi-View Self-Supervised Learning
• Title（参考訳）: 多視点自己監督学習におけるエントロピーと再構成の役割
• Authors: Borja Rodr\'iguez-G\'alvez, Arno Blaas, Pau Rodr\'iguez, Adam Goli\'nski, Xavier Suau, Jason Ramapuram, Dan Busbridge, Luca Zappella
• Abstract要約: エントロピーと再構成項(ER)からなる相互情報の異なる下限を考える。 本稿では,DeepClusterやSwaVといったクラスタリングベースの手法がMIを最大化することを示す。 また,BYOLやDINOといった蒸留法に基づく手法のメカニズムを再解釈し,再構築期間を明示的に最大化し,安定なエントロピーを暗黙的に促進することを示した。
• 参考スコア（独自算出の注目度）: 6.8532783761153695
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The mechanisms behind the success of multi-view self-supervised learning (MVSSL) are not yet fully understood. Contrastive MVSSL methods have been studied through the lens of InfoNCE, a lower bound of the Mutual Information (MI). However, the relation between other MVSSL methods and MI remains unclear. We consider a different lower bound on the MI consisting of an entropy and a reconstruction term (ER), and analyze the main MVSSL families through its lens. Through this ER bound, we show that clustering-based methods such as DeepCluster and SwAV maximize the MI. We also re-interpret the mechanisms of distillation-based approaches such as BYOL and DINO, showing that they explicitly maximize the reconstruction term and implicitly encourage a stable entropy, and we confirm this empirically. We show that replacing the objectives of common MVSSL methods with this ER bound achieves competitive performance, while making them stable when training with smaller batch sizes or smaller exponential moving average (EMA) coefficients. Github repo: https://github.com/apple/ml-entropy-reconstruction.
• Abstract（参考訳）: 多視点自己教師学習(MVSSL)の成功のメカニズムはまだ完全には理解されていない。 対照的にMVSSL法は相互情報(MI)の下位境界であるInfoNCEのレンズを用いて研究されている。 しかし、他のMVSSLメソッドとMIとの関係は未だ不明である。 我々は、エントロピーと再構成項(ER)からなるMI上の異なる下界を考察し、そのレンズを通して主MVSSLファミリーを分析する。 このER境界を通して、DeepClusterやSwaVといったクラスタリングベースの手法がMIを最大化することを示す。 また,BYOLやDINOといった蒸留法に基づく手法のメカニズムを再解釈し,再現期間を明示的に最大化し,安定エントロピーを暗黙的に促進することを示した。 本研究では, 一般的なMVSSL法をER境界に置き換えることで, より小さいバッチサイズあるいはより小さい指数移動平均(EMA)係数でトレーニングした場合に, 安定した性能が得られることを示す。 Github repo: https://github.com/apple/ml-entropy-reconstruction.com

関連論文リスト

• Self-Supervised Anomaly Detection in the Wild: Favor Joint Embeddings Methods [12.277762115388187]
  Self-Supervised Learning (SSL)は、ラベルのないデータから堅牢な表現を学習することで、有望なアプローチを提供する。 本稿では,下水道インフラに着目した実世界の異常検出のためのSSL手法の包括的評価を行う。
  論文  参考訳（メタデータ） (2024-10-05T21:27:47Z)
• MICM: Rethinking Unsupervised Pretraining for Enhanced Few-shot Learning [18.152453141040464]
  教師なしのFew-Shot Learningは、最初のトレーニングフェーズにおける注釈付きデータセットへの依存を減らすことで、この分割を橋渡ししようとしている。 まず,マスクド画像モデリング (MIM) とコントラスト学習 (CL) が学習課題に与える影響を定量的に評価した。 教師なし事前訓練における一般化と差別性の間のトレードオフに対処するために,マスク付き画像コントラストモデリング(MICM)という新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-08-23T21:32:53Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Quantifying Emergence in Large Language Models [31.608080868988825]
  LLMの出現を推定するための定量化ソリューションを提案する。 分子動力学における創発性に着想を得て, ミクロ(トケン)レベルのエントロピー低減とミクロ(セマンティック)レベルのエントロピー低減を比較して, 出現の強さを定量化する。 本手法は,テキスト内学習(ICL)と自然文の両方で,一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2024-05-21T09:12:20Z)
• David helps Goliath: Inference-Time Collaboration Between Small Specialized and Large General Diffusion LMs [49.822063966687175]
  拡散に基づく言語モデルは、自己回帰型LMに代わる有望な選択肢として浮上している。 我々は最近提案した拡散モデルSSD-LMを0.4Bから13Bパラメータに拡張する方法を提案する。 SSD-2は、個々のユーザがカスタマイズしてデプロイできる100倍の小型モデルで、新しいアンサンブルを促進する。
  論文  参考訳（メタデータ） (2023-05-24T06:22:14Z)
• Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
  本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。 提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。 実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-03-16T16:14:19Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Self-Supervised Learning with Kernel Dependence Maximization [23.618292038419654]
  我々はHilbert-Schmidt Independence Criterion (SSL-HSIC)による自己指導型学習を提案する。 SSL-HSICは、画像の変換されたバージョンの表現とイメージアイデンティティの依存関係を最大化する。 この自己教師型学習フレームワークは、異なる変換間の相互情報(MI)の変動的下限であるInfoNCEを新たに理解する。
  論文  参考訳（メタデータ） (2021-06-15T17:51:16Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)
• Modal Regression based Structured Low-rank Matrix Recovery for Multi-view Learning [70.57193072829288]
  近年、低ランクなマルチビューサブスペース学習は、クロスビューの分類において大きな可能性を示している。 既存のLMvSLベースの手法では、ビューの区別と差別を同時に扱うことができない。 本稿では,視差を効果的に除去し,識別性を向上する独自の方法であるStructured Low-rank Matrix Recovery (SLMR)を提案する。
  論文  参考訳（メタデータ） (2020-03-22T03:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。