論文の概要: Data Augmentations Go Beyond Encoding Invariances: A Theoretical Study on Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2411.01767v2
• Date: Sun, 15 Dec 2024 23:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:49:43.544340
• Title: Data Augmentations Go Beyond Encoding Invariances: A Theoretical Study on Self-Supervised Learning
• Title（参考訳）: 不変性を符号化する以上のデータ拡張:自己監督型学習の理論的研究
• Authors: Shlomo Libo Feigin, Maximilian Fleissner, Debarghya Ghoshdastidar,
• Abstract要約: 拡張は元のデータと似ていても、多種多様である必要はなく、どちらもあり得ないことを示す。 自己指導型学習において、このような拡張を再構築し、強化選択に関する洞察を与えるアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 6.178817969919849
• License:
• Abstract: Understanding the role of data augmentations is critical for applying Self-Supervised Learning (SSL) methods in new domains. Data augmentations are commonly understood as encoding invariances into the learned representations. This interpretation suggests that SSL would require diverse augmentations that resemble the original data. However, in practice, augmentations do not need to be similar to the original data nor be diverse, and can be neither at the same time. We provide a theoretical insight into this phenomenon. We show that for different SSL losses, any non-redundant representation can be learned with a single suitable augmentation. We provide an algorithm to reconstruct such augmentations and give insights into augmentation choices in SSL.
• Abstract（参考訳）: データ拡張の役割を理解することは、新しいドメインに自己監視学習(SSL)メソッドを適用する上で重要である。 データ拡張は一般に、学習した表現に不変性を符号化するものとして理解されている。 この解釈は、SSLが元のデータに似た多様な拡張を必要とすることを示唆している。 しかし、実際には、拡張は元のデータと似ている必要はなく、多種多様で、同時にはできない。 この現象に関する理論的知見を提供する。 SSLの損失が異なる場合、任意の非冗長表現は、ひとつの適切な拡張で学習可能であることを示す。 このような拡張を再構築し、SSLにおける拡張選択に関する洞察を与えるアルゴリズムを提供する。

関連論文リスト

• Understanding the Role of Equivariance in Self-supervised Learning [51.56331245499712]
  同変自己教師学習(E-SSL)は、拡張に注意する機能を学ぶ。 我々は、同変タスクと分類タスクの相乗効果を生成するE-SSLにおける重要な説明アウト効果を同定する。 E-SSLの実用設計の原則をいくつか明らかにする。
  論文  参考訳（メタデータ） (2024-11-10T16:09:47Z)
• Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
  自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。 異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-08T23:42:06Z)
• Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
  自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。 本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。 提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
  論文  参考訳（メタデータ） (2023-05-31T12:24:06Z)
• ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
  我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。 対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。 これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-02T09:26:20Z)
• Unlabeled Data Help: Minimax Analysis and Adversarial Robustness [21.79888306754263]
  自己教師付き学習(SSL)アプローチは、追加のラベルのないデータで学習アルゴリズムを補完する大きな可能性を実証することに成功した。 既存のSSLアルゴリズムがラベル付きデータとラベルなしデータの情報を十分に活用できるかどうかはまだ不明である。 本稿では,いくつかの統計モデルに基づく2020年の予測を引用し,再構成に基づくSSLアルゴリズムに対する肯定的な回答を与える。
  論文  参考訳（メタデータ） (2022-02-14T19:24:43Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。