論文の概要: Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation

• arxiv url: http://arxiv.org/abs/2306.00788v1
• Date: Thu, 1 Jun 2023 15:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:16:44.530423
• Title: Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation
• Title（参考訳）: RKHS近似を用いた拡張型自己監督表現学習の理解
• Authors: Runtian Zhai, Bingbin Liu, Andrej Risteski, Zico Kolter, Pradeep Ravikumar
• Abstract要約: 優れたデータ拡張は、自己教師型表現学習の実証的な成功につながる重要な要因の1つです。 最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との接続を構築している。 我々はこの知見を用いて、拡張に基づく事前学習の統計的分析を行う。
• 参考スコア（独自算出の注目度）: 43.61671812704941
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Good data augmentation is one of the key factors that lead to the empirical success of self-supervised representation learning such as contrastive learning and masked language modeling, yet theoretical understanding of its role in learning good representations remains limited. Recent work has built the connection between self-supervised learning and approximating the top eigenspace of a graph Laplacian operator. Learning a linear probe on top of such features can naturally be connected to RKHS regression. In this work, we use this insight to perform a statistical analysis of augmentation-based pretraining. We start from the isometry property, a key geometric characterization of the target function given by the augmentation. Our first main theorem provides, for an arbitrary encoder, near tight bounds for both the estimation error incurred by fitting the linear probe on top of the encoder, and the approximation error entailed by the fitness of the RKHS the encoder learns. Our second main theorem specifically addresses the case where the encoder extracts the top-d eigenspace of a Monte-Carlo approximation of the underlying kernel with the finite pretraining samples. Our analysis completely disentangles the effects of the model and the augmentation. A key ingredient in our analysis is the augmentation complexity, which we use to quantitatively compare different augmentations and analyze their impact on downstream performance on synthetic and real datasets.
• Abstract（参考訳）: 良質なデータ拡張は、コントラスト学習やマスキング言語モデリングのような自己教師あり表現学習を経験的に成功させる重要な要因の1つだが、良質な表現の学習におけるその役割に関する理論的理解はまだ限られている。 最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との接続を構築している。 このような特徴の上の線形プローブを学習することは、自然にRKHS回帰に結び付けられる。 本研究では,この知見を用いて,強化型事前学習の統計的分析を行う。 拡張によって与えられる対象関数の重要な幾何学的特徴である等尺性から始める。 最初の主定理は、任意のエンコーダに対して、エンコーダの上に線形プローブを取り付けて得られた推定誤差と、エンコーダが学習するRKHSの適合度に係わる近似誤差の両方に対して、密接な境界付近を提供する。 2つ目の主定理は、エンコーダが基礎となる核のモンテカルロ近似のトップd固有空間を有限事前学習サンプルで抽出する場合を特に扱うものである。 我々の分析は、モデルと拡張の効果を完全に切り離している。 分析において重要な要素は拡張複雑性である。これは、異なる拡張を定量的に比較し、合成および実データに対する下流のパフォーマンスへの影響を分析するために用いられる。

関連論文リスト

• Deep Generative Symbolic Regression [83.04219479605801]
  記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。 既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。 本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:05:31Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Koopman Kernel Regression [6.116741319526748]
  クープマン作用素理論は線形時間不変(LTI)ODEによる予測のキャラクタリゼーションに有効なパラダイムであることを示す。 我々は、LTI力学系への変換のみにまたがる、普遍的なクープマン不変核再生ヒルベルト空間(RKHS)を導出する。 実験では、Koopman演算子やシーケンシャルデータ予測器と比較して予測性能が優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-25T16:22:22Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Parameterized Hypercomplex Graph Neural Networks for Graph Classification [1.1852406625172216]
  我々は超複雑特徴変換の特性を利用するグラフニューラルネットワークを開発した。 特に、提案したモデルのクラスでは、代数自身を特定する乗法則は、トレーニング中にデータから推測される。 提案するハイパーコンプレックスgnnをいくつかのオープングラフベンチマークデータセット上でテストし,そのモデルが最先端の性能に達することを示す。
  論文  参考訳（メタデータ） (2021-03-30T18:01:06Z)
• A Locally Adaptive Interpretable Regression [7.4267694612331905]
  線形回帰は最も解釈可能な予測モデルの一つである。 本稿では,局所適応型解釈型回帰(LoAIR)を導入する。 我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
  論文  参考訳（メタデータ） (2020-05-07T09:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。