論文の概要: Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2402.06884v2
• Date: Mon, 27 May 2024 22:11:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 03:28:21.395179
• Title: Low-Rank Approximation of Structural Redundancy for Self-Supervised Learning
• Title（参考訳）: 自己教師付き学習における構造冗長性の低ランク近似
• Authors: Kang Du, Yu Xiang,
• Abstract要約: 本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件により、低ランク因子化による冗長成分の近似を提案する。
• 参考スコア（独自算出の注目度）: 2.3072402651280517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the data-generating mechanism for reconstructive SSL to shed light on its effectiveness. With an infinite amount of labeled samples, we provide a sufficient and necessary condition for perfect linear approximation. The condition reveals a full-rank component that preserves the label classes of Y, along with a redundant component. Motivated by the condition, we propose to approximate the redundant component by a low-rank factorization and measure the approximation quality by introducing a new quantity $\epsilon_s$, parameterized by the rank of factorization s. We incorporate $\epsilon_s$ into the excess risk analysis under both linear regression and ridge regression settings, where the latter regularization approach is to handle scenarios when the dimension of the learned features is much larger than the number of labeled samples n for downstream tasks. We design three stylized experiments to compare SSL with supervised learning under different settings to support our theoretical findings.
• Abstract（参考訳）: 本研究では,その有効性に光を当てるために,再構成SSLのデータ生成機構について検討する。 ラベル付きサンプルの無限の量で、完全線形近似に十分かつ必要な条件を提供する。 この条件は、冗長なコンポーネントとともに、Yのラベルクラスを保存するフルランクコンポーネントを明らかにする。 この条件により、低ランクの分解によって冗長成分を近似し、分解のランクによってパラメータ化される新しい量$\epsilon_s$を導入して近似品質を測定することを提案する。 線形回帰とリッジ回帰の両方の条件下での過剰リスク解析に$\epsilon_s$を組み込む。後者の正規化手法は、学習した特徴の次元が下流タスクのラベル付きサンプルnの数よりもはるかに大きい場合のシナリオを扱う。 我々は、SSLと教師あり学習を異なる環境下で比較し、理論的な結果をサポートするための3つのスタイリングされた実験を設計する。

関連論文リスト

• Shuffled Linear Regression via Spectral Matching [6.24954299842136]
  シャッフル線形回帰は線形変換を通じて潜在特徴を推定しようとする。 この問題は、従来の最小二乗法(LS)とLast Absolute Shrinkage and Selection Operator(LASSO)アプローチを拡張している。 置換を効率的に解決するスペクトルマッチング法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T16:26:40Z)
• Zero-Shot Class Unlearning in CLIP with Synthetic Samples [0.0]
  私たちは、画像テキストペアの巨大なデータセットに基づいてトレーニングされたデュアルビジョン言語モデルであるCLIP内でのアンラーニングに重点を置いています。 リプシッツ正則化をCLIPのマルチモーダル文脈に適用する。 我々の忘れる手順は反復的であり、合成された忘れ物セットの精度を追跡し、選択された閾値未満の精度で停止する。
  論文  参考訳（メタデータ） (2024-07-10T09:16:14Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)
• On the Sample Complexity of Vanilla Model-Based Offline Reinforcement Learning with Dependent Samples [32.707730631343416]
  オフライン強化学習(オフラインRL)は、以前に収集したサンプルのみを用いて学習を行う問題を考える。 モデルベースオフラインRLでは、学習者は経験的遷移に応じて構築されたモデルを用いて推定(または最適化)を行う。 本研究では,バニラモデルに基づくオフラインRLのサンプル複雑性を無限水平ディスカウント・リワード設定における依存サンプルを用いて解析する。
  論文  参考訳（メタデータ） (2023-03-07T22:39:23Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Vector-Valued Least-Squares Regression under Output Regularity Assumptions [73.99064151691597]
  最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。 提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
  論文  参考訳（メタデータ） (2022-11-16T15:07:00Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Adaptive neighborhood Metric learning [184.95321334661898]
  適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。 本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
  論文  参考訳（メタデータ） (2022-01-20T17:26:37Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction [4.860671253873579]
  本稿では,経験的リスク最小化(Empirical Risk Minimization,ERM)学習プロセスの半教師付き学習(SSL)変種を設計するためにラベルのないデータを使用する一般的な手法を提案する。 我々は、予測性能の向上におけるSSLアプローチの有効性を分析した。
  論文  参考訳（メタデータ） (2020-09-01T17:55:51Z)
• Finite-time Identification of Stable Linear Systems: Optimality of the Least-Squares Estimator [79.3239137440876]
  線形時間不変系に対する正規最小方形推定器(OLS)の推定誤差の新しい有限時間解析法を提案する。 我々は、OLS推定器が$(varepsilon,delta)$-PACとなるのに十分な観測サンプルの数を特徴付け、少なくとも1-delta$の確率で$varepsilon$未満の推定誤差を生じる。
  論文  参考訳（メタデータ） (2020-03-17T20:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。