Fugu-MT 論文翻訳(概要): On the Stepwise Nature of Self-Supervised Learning

論文の概要: On the Stepwise Nature of Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2303.15438v2
Date: Tue, 30 May 2023 17:25:42 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 01:10:01.103453
Title: On the Stepwise Nature of Self-Supervised Learning
Title（参考訳）: 自己指導型学習のステップワイドな性質について
Authors: James B. Simon, Maksis Knutins, Liu Ziyin, Daniel Geisz, Abraham J. Fetterman, Joshua Albrecht
Abstract要約: 本稿では, 自己教師あり学習法を組み込んだ共同学習の学習過程について, 簡単な図面を提示する。これらの手法は, 離散的, 分離されたステップの列において, 1次元の高次元埋め込みを同時に学習する。我々の理論は、カーネル回帰を教師付き学習のモデルと考えることができるように、カーネルPCAは自己教師付き学習の有用なモデルとして機能する可能性があることを示唆している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present a simple picture of the training process of joint embedding self-supervised learning methods. We find that these methods learn their high-dimensional embeddings one dimension at a time in a sequence of discrete, well-separated steps. We arrive at this conclusion via the study of a linearized model of Barlow Twins applicable to the case in which the trained network is infinitely wide. We solve the training dynamics of this model from small initialization, finding that the model learns the top eigenmodes of a certain contrastive kernel in a stepwise fashion, and obtain a closed-form expression for the final learned representations. Remarkably, we then see the same stepwise learning phenomenon when training deep ResNets using the Barlow Twins, SimCLR, and VICReg losses. Our theory suggests that, just as kernel regression can be thought of as a model of supervised learning, kernel PCA may serve as a useful model of self-supervised learning.
Abstract（参考訳）: 本稿では,自己教師付き学習手法の学習過程の簡単な図を示す。これらの手法は, 離散的, 分離されたステップの列において, 1次元の高次元埋め込みを同時に学習する。この結論は、訓練されたネットワークが無限に広い場合に適用できる、バーロウ・ツインズの線形化モデルの研究を通して達成される。このモデルのトレーニングダイナミクスを、小さな初期化から解き、あるコントラストカーネルの最上位固有モードを段階的に学習し、最終学習表現に対する閉形式式を得る。注目すべきは、Barlow Twins、SimCLR、VICRegの損失を使ってDeep ResNetsをトレーニングするのと同じステップワイズ学習現象が見られます。我々の理論は、カーネル回帰を教師付き学習のモデルと考えることができるように、カーネルPCAは自己教師付き学習の有用なモデルとして機能することを示唆している。

関連論文リスト

The Edge-of-Reach Problem in Offline Model-Based Reinforcement Learning [37.387280102209274]
オフライン強化学習は、事前に収集されたデータセットからエージェントをトレーニング可能にすることを目的としている。モデルベースの手法は、エージェントが学習されたダイナミックスモデルでロールアウトを介して追加の合成データを収集できるようにすることで、ソリューションを提供する。しかし、学習したダイナミックスモデルを真のエラーフリーなダイナミックスに置き換えると、既存のモデルベースのメソッドは完全に失敗する。本稿では, エッジ・オブ・リーチ問題に直接対処する単純で堅牢な手法であるReach-Aware Value Learning (RAVL)を提案する。
論文参考訳（メタデータ） (2024-02-19T20:38:00Z)
An Information Theoretic Approach to Machine Unlearning [45.600917449314444]
学びの鍵となる課題は、モデルのパフォーマンスを保ちながら、必要なデータをタイムリーに忘れることである。この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
論文参考訳（メタデータ） (2024-02-02T13:33:30Z)
A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Non-Parametric Representation Learning with Kernels [6.944372188747803]
いくつかのカーネルベース表現学習手法を導入・分析する。教師付きカーネルマシンの古典的表現定理は、(自己教師型)表現学習には必ずしも適用されない。我々は,これらの手法の性能を,ニューラルネットワークベースモデルと比較して実証的に評価した。
論文参考訳（メタデータ） (2023-09-05T08:14:25Z)
Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文参考訳（メタデータ） (2022-10-21T21:59:42Z)
Fitting a Directional Microstructure Model to Diffusion-Relaxation MRI Data with Self-Supervised Machine Learning [2.8167227950959206]
教師付き学習の魅力的な代替手段として、自己教師型機械学習が登場している。本稿では,指向性マイクロ構造モデルに適用可能な自己教師型機械学習モデルを実証する。提案手法は, パラメータ推定と計算時間において, 通常の非線形最小二乗整合と比較して明らかに改善されている。
論文参考訳（メタデータ） (2022-10-05T15:51:39Z)
Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文参考訳（メタデータ） (2022-05-16T06:49:36Z)
Gradient-Matching Coresets for Rehearsal-Based Continual Learning [6.243028964381449]
継続学習(CL)の目標は、学習した知識を忘れずに、機械学習モデルを新しいデータで効率的に更新することである。広く使われているほとんどのCLメソッドは、新しいデータのトレーニング中に再利用されるデータポイントのリハーサルメモリに依存している。リハーサルに基づく連続学習のためのコアセット選択法を考案する。
論文参考訳（メタデータ） (2022-03-28T07:37:17Z)
SPeCiaL: Self-Supervised Pretraining for Continual Learning [49.34919926042038]
SPeCiaLは、継続学習に適した表現の教師なし事前学習方法である。本研究では,SPeCiaLを連続的なFew-Shot学習環境において評価し,他の教師付き事前学習手法に適合または優れることを示す。
論文参考訳（メタデータ） (2021-06-16T18:15:15Z)
Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文参考訳（メタデータ） (2021-06-08T09:13:34Z)
Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。