論文の概要: What Do We Maximize in Self-Supervised Learning?
- arxiv url: http://arxiv.org/abs/2207.10081v1
- Date: Wed, 20 Jul 2022 04:44:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-22 12:27:29.842668
- Title: What Do We Maximize in Self-Supervised Learning?
- Title(参考訳): 自己指導型学習で最大化するものは何か?
- Authors: Ravid Shwartz-Ziv, Randall Balestriero, Yann LeCun
- Abstract要約: 決定論的ネットワークにおいて情報理論量がどのように得られるかを示す。
仮定の有効性を実証的に実証し、新しいVICRegの理解を確認した。
我々は、得られた導出と洞察は、他の多くのSSLメソッドに一般化できると考えている。
- 参考スコア(独自算出の注目度): 17.94932034403123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we examine self-supervised learning methods, particularly
VICReg, to provide an information-theoretical understanding of their
construction. As a first step, we demonstrate how information-theoretic
quantities can be obtained for a deterministic network, offering a possible
alternative to prior work that relies on stochastic models. This enables us to
demonstrate how VICReg can be (re)discovered from first principles and its
assumptions about data distribution. Furthermore, we empirically demonstrate
the validity of our assumptions, confirming our novel understanding of VICReg.
Finally, we believe that the derivation and insights we obtain can be
generalized to many other SSL methods, opening new avenues for theoretical and
practical understanding of SSL and transfer learning.
- Abstract(参考訳): 本稿では,自己指導型学習手法,特にVICRegについて検討し,その構築に関する情報理論的理解を提供する。
最初のステップとして、決定論的ネットワークにおいて情報理論量がどのように得られるかを示し、確率的モデルに依存する先行研究の代替となる可能性を示す。
これにより、第1原則とそのデータ分散に関する仮定から、VICRegをどのように(再)発見できるかを実証することができる。
さらに, 仮定の有効性を実証的に実証し, 新たなVICRegの理解を確認した。
最後に、得られた導出と洞察は、他の多くのSSLメソッドに一般化することができ、SSLと転送学習の理論的および実践的な理解のための新たな道を開くことができると信じている。
関連論文リスト
- More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms [17.55660062746406]
PAC-Bayesian理論を用いたメタラーニング手法の研究のための新しいフレームワークを提案する。
私たちの大きな利点は、タスク間の知識の伝達を実現する方法において、柔軟性を高めることです。
論文 参考訳(メタデータ) (2024-02-06T15:00:08Z) - A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Continual Zero-Shot Learning through Semantically Guided Generative
Random Walks [56.65465792750822]
生成モデルを利用して、学習中に見えない情報が提供されない連続ゼロショット学習の課題に対処する。
本稿では,新しい意味誘導型生成ランダムウォーク(GRW)損失を用いた学習アルゴリズムを提案する。
提案アルゴリズムは,AWA1,AWA2,CUB,SUNデータセットの最先端性能を達成し,既存のCZSL手法を3~7%上回る結果を得た。
論文 参考訳(メタデータ) (2023-08-23T18:10:12Z) - On the Stepwise Nature of Self-Supervised Learning [0.0]
本稿では, 自己教師あり学習法を組み込んだ共同学習の学習過程について, 簡単な図面を提示する。
これらの手法は, 離散的, 分離されたステップの列において, 1次元の高次元埋め込みを同時に学習する。
我々の理論は、カーネル回帰を教師付き学習のモデルと考えることができるように、カーネルPCAは自己教師付き学習の有用なモデルとして機能する可能性があることを示唆している。
論文 参考訳(メタデータ) (2023-03-27T17:59:20Z) - An Information-Theoretic Perspective on Variance-Invariance-Covariance
Regularization [31.621516856384005]
自己教師型学習のための分散In-Co正規化(VICReg)に関する情報理論的な視点を提供する。
本稿では,従来の手法を性能的に上回る,相互情報目的に基づく自己指導型学習手法を提案する。
論文 参考訳(メタデータ) (2023-03-01T16:36:25Z) - Can Direct Latent Model Learning Solve Linear Quadratic Gaussian
Control? [75.14973944905216]
本研究では,高次元観測から状態表現を学習する課題について検討する。
我々は,ある潜在状態空間における動的モデルを,計画に直接関連する量を予測することによって学習する,直接潜在モデル学習手法を追求する。
論文 参考訳(メタデータ) (2022-12-30T01:42:04Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳(メタデータ) (2022-10-21T21:59:42Z) - Mixture-of-Variational-Experts for Continual Learning [0.0]
学習と忘れのトレードオフを促進する最適原理を提案する。
我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。
MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
論文 参考訳(メタデータ) (2021-10-25T06:32:06Z) - InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via
Intermediary Latents [60.785317191131284]
本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。
特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。
これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
論文 参考訳(メタデータ) (2021-06-25T16:34:05Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳(メタデータ) (2020-06-11T17:02:20Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。