論文の概要: MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck

• arxiv url: http://arxiv.org/abs/2403.19078v1
• Date: Thu, 28 Mar 2024 00:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 17:42:20.341727
• Title: MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck
• Title（参考訳）: MVEB:マルチビュー・エントロピー・ボトルネックによる自己監督型学習
• Authors: Liangjian Wen, Xiasi Wang, Jianzhuang Liu, Zenglin Xu,
• Abstract要約: 自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなす。 近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。 目的とする多視点エントロピー・ボトルネック(MVEB)を提案し,最小限の表現を効果的に学習する。
• 参考スコア（独自算出の注目度）: 53.44358636312935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning aims to learn representation that can be effectively generalized to downstream tasks. Many self-supervised approaches regard two views of an image as both the input and the self-supervised signals, assuming that either view contains the same task-relevant information and the shared information is (approximately) sufficient for predicting downstream tasks. Recent studies show that discarding superfluous information not shared between the views can improve generalization. Hence, the ideal representation is sufficient for downstream tasks and contains minimal superfluous information, termed minimal sufficient representation. One can learn this representation by maximizing the mutual information between the representation and the supervised view while eliminating superfluous information. Nevertheless, the computation of mutual information is notoriously intractable. In this work, we propose an objective termed multi-view entropy bottleneck (MVEB) to learn minimal sufficient representation effectively. MVEB simplifies the minimal sufficient learning to maximizing both the agreement between the embeddings of two views and the differential entropy of the embedding distribution. Our experiments confirm that MVEB significantly improves performance. For example, it achieves top-1 accuracy of 76.9\% on ImageNet with a vanilla ResNet-50 backbone on linear evaluation. To the best of our knowledge, this is the new state-of-the-art result with ResNet-50.
• Abstract（参考訳）: 自己教師付き学習は、下流のタスクに効果的に一般化できる表現を学習することを目的としている。 多くの自己監督的アプローチは、画像の2つのビューを入力と自己監督的信号の両方とみなし、どちらのビューも同一のタスク関連情報を含み、共有情報は下流タスクを予測するのに十分な(およそ)ものであると仮定する。 近年の研究では、ビュー間で共有されていない過剰な情報を捨てることにより、一般化が促進されることが示されている。 したがって、理想表現は下流のタスクには十分であり、最小限の過剰な情報を含み、最小限の十分表現と呼ばれる。 この表現は、過剰な情報を排除しつつ、表現と教師付きビューの相互情報を最大化することで学習することができる。 それでも、相互情報の計算は、非常に難解である。 本研究では,最小限の表現を効果的に学習する目的の多視点エントロピーボトルネック(MVEB)を提案する。 MVEBは2つのビューの埋め込みと埋め込み分布の微分エントロピーの一致を最大化するために、最小限の十分な学習を単純化する。 実験の結果,MVEBは性能が著しく向上することが確認された。 例えば、リニア評価においてバニラResNet-50バックボーンでImageNetで76.9\%のトップ1の精度を達成する。 私たちの知る限りでは、これはResNet-50による新しい最先端の結果です。

関連論文リスト

• Rethinking Multi-view Representation Learning via Distilled Disentangling [34.14711778177439]
  マルチビュー表現学習は、多様なデータソースからビュー一貫性とビュー固有性の両方を持つ堅牢な表現を導出することを目的としている。 本稿では、この領域における既存のアプローチの詳細な分析を行い、ビュー一貫性とビュー固有表現の冗長性を強調した。 我々は,多視点表現学習のための革新的枠組みを提案し,これを「蒸留解離」と呼ぶ手法を取り入れた。
  論文  参考訳（メタデータ） (2024-03-16T11:21:24Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Provable Benefit of Multitask Representation Learning in Reinforcement Learning [46.11628795660159]
  本稿では,低ランクマルコフ決定過程(MDP)モデルに基づく表現学習の利点を理論的に特徴づける。 我々の知る限りでは、探索に基づく報酬なしマルチタスク強化学習における表現学習の利点を特徴づける最初の理論的研究である。
  論文  参考訳（メタデータ） (2022-06-13T04:29:02Z)
• Rethinking Minimal Sufficient Representation in Contrastive Learning [28.83450836832452]
  対照的な学習モデルでは、ビュー間の共有情報に過度に適合するリスクがあることが示される。 本稿では,タスク関連情報を概ね導入するために,正規化として表現と入力の相互情報を増やすことを提案する。 下流タスクにおける古典的コントラスト学習モデルの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-03-14T11:17:48Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• What Makes for Good Views for Contrastive Learning? [90.49736973404046]
  我々は、タスク関連情報をそのまま保持しながら、ビュー間の相互情報(MI)を減らすべきであると論じる。 教師なし・半教師なしのフレームワークを考案し、MIの削減をめざして効果的なビューを学習する。 副産物として、ImageNet分類のための教師なし事前学習における最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)
• Evolving Losses for Unsupervised Video Representation Learning [91.2683362199263]
  大規模未ラベル映像データから映像表現を学習する新しい手法を提案する。 提案した教師なし表現学習では,単一のRGBネットワークが実現し,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-02-26T16:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。