論文の概要: What Do We Maximize in Self-Supervised Learning?

• arxiv url: http://arxiv.org/abs/2207.10081v1
• Date: Wed, 20 Jul 2022 04:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:27:29.842668
• Title: What Do We Maximize in Self-Supervised Learning?
• Title（参考訳）: 自己指導型学習で最大化するものは何か?
• Authors: Ravid Shwartz-Ziv, Randall Balestriero, Yann LeCun
• Abstract要約: 決定論的ネットワークにおいて情報理論量がどのように得られるかを示す。 仮定の有効性を実証的に実証し、新しいVICRegの理解を確認した。 我々は、得られた導出と洞察は、他の多くのSSLメソッドに一般化できると考えている。
• 参考スコア（独自算出の注目度）: 17.94932034403123
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we examine self-supervised learning methods, particularly VICReg, to provide an information-theoretical understanding of their construction. As a first step, we demonstrate how information-theoretic quantities can be obtained for a deterministic network, offering a possible alternative to prior work that relies on stochastic models. This enables us to demonstrate how VICReg can be (re)discovered from first principles and its assumptions about data distribution. Furthermore, we empirically demonstrate the validity of our assumptions, confirming our novel understanding of VICReg. Finally, we believe that the derivation and insights we obtain can be generalized to many other SSL methods, opening new avenues for theoretical and practical understanding of SSL and transfer learning.
• Abstract（参考訳）: 本稿では,自己指導型学習手法,特にVICRegについて検討し,その構築に関する情報理論的理解を提供する。 最初のステップとして、決定論的ネットワークにおいて情報理論量がどのように得られるかを示し、確率的モデルに依存する先行研究の代替となる可能性を示す。 これにより、第1原則とそのデータ分散に関する仮定から、VICRegをどのように(再)発見できるかを実証することができる。 さらに, 仮定の有効性を実証的に実証し, 新たなVICRegの理解を確認した。 最後に、得られた導出と洞察は、他の多くのSSLメソッドに一般化することができ、SSLと転送学習の理論的および実践的な理解のための新たな道を開くことができると信じている。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
  学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。 学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。 このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
  論文  参考訳（メタデータ） (2024-09-05T17:58:28Z)
• More Flexible PAC-Bayesian Meta-Learning by Learning Learning Algorithms [15.621144215664769]
  PAC-Bayesian理論を用いたメタラーニング手法の研究のための新しいフレームワークを提案する。 私たちの大きな利点は、タスク間の知識の伝達を実現する方法において、柔軟性を高めることです。
  論文  参考訳（メタデータ） (2024-02-06T15:00:08Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Continual Zero-Shot Learning through Semantically Guided Generative Random Walks [56.65465792750822]
  生成モデルを利用して、学習中に見えない情報が提供されない連続ゼロショット学習の課題に対処する。 本稿では,新しい意味誘導型生成ランダムウォーク(GRW)損失を用いた学習アルゴリズムを提案する。 提案アルゴリズムは,AWA1,AWA2,CUB,SUNデータセットの最先端性能を達成し,既存のCZSL手法を3～7%上回る結果を得た。
  論文  参考訳（メタデータ） (2023-08-23T18:10:12Z)
• On the Stepwise Nature of Self-Supervised Learning [0.0]
  本稿では, 自己教師あり学習法を組み込んだ共同学習の学習過程について, 簡単な図面を提示する。 これらの手法は, 離散的, 分離されたステップの列において, 1次元の高次元埋め込みを同時に学習する。 我々の理論は、カーネル回帰を教師付き学習のモデルと考えることができるように、カーネルPCAは自己教師付き学習の有用なモデルとして機能する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-03-27T17:59:20Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Can Direct Latent Model Learning Solve Linear Quadratic Gaussian Control? [75.14973944905216]
  本研究では,高次元観測から状態表現を学習する課題について検討する。 我々は,ある潜在状態空間における動的モデルを,計画に直接関連する量を予測することによって学習する,直接潜在モデル学習手法を追求する。
  論文  参考訳（メタデータ） (2022-12-30T01:42:04Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• InteL-VAEs: Adding Inductive Biases to Variational Auto-Encoders via Intermediary Latents [60.785317191131284]
  本稿では,潜伏変数の中間集合を用いて,制御可能なバイアスでVAEを学習するための簡易かつ効果的な手法を提案する。 特に、学習した表現に対して、スパーシリティやクラスタリングといった望ましいプロパティを課すことができます。 これにより、InteL-VAEはより優れた生成モデルと表現の両方を学ぶことができる。
  論文  参考訳（メタデータ） (2021-06-25T16:34:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。