Fugu-MT 論文翻訳(概要): Data Augmentations Go Beyond Encoding Invariances: A Theoretical Study on Self-Supervised Learning

論文の概要: Data Augmentations Go Beyond Encoding Invariances: A Theoretical Study on Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2411.01767v1
Date: Mon, 04 Nov 2024 03:25:57 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:47:03.664808
Title: Data Augmentations Go Beyond Encoding Invariances: A Theoretical Study on Self-Supervised Learning
Title（参考訳）: 不変性を符号化する以上のデータ拡張:自己監督型学習の理論的研究
Authors: Shlomo Libo Feigin, Maximilian Fleissner, Debarghya Ghoshdastidar,
Abstract要約: 拡張は元のデータと似ていても、多種多様である必要はなく、どちらもあり得ないことを示す。自己指導型学習において、このような拡張を再構築し、強化選択に関する洞察を与えるアルゴリズムを提供する。
参考スコア（独自算出の注目度）: 6.178817969919849
License:
Abstract: Understanding the role of data augmentations is critical for applying Self-Supervised Learning (SSL) methods in new domains. Data augmentations are commonly understood as encoding invariances into the learned representations. This interpretation suggests that SSL would require diverse augmentations that resemble the original data. However, in practice, augmentations do not need to be similar to the original data nor be diverse, and can be neither at the same time. We provide a theoretical insight into this phenomenon. We show that for different SSL losses, any non-redundant representation can be learned with a single suitable augmentation. We provide an algorithm to reconstruct such augmentations and give insights into augmentation choices in SSL.
Abstract（参考訳）: データ拡張の役割を理解することは、新しいドメインに自己監視学習(SSL)メソッドを適用する上で重要である。データ拡張は一般に、学習した表現に不変性を符号化するものとして理解されている。この解釈は、SSLが元のデータに似た多様な拡張を必要とすることを示唆している。しかし、実際には、拡張は元のデータと似ている必要はなく、多種多様で、同時にはできない。この現象に関する理論的知見を提供する。 SSLの損失が異なる場合、任意の非冗長表現は、ひとつの適切な拡張で学習可能であることを示す。このような拡張を再構築し、SSLにおける拡張選択に関する洞察を与えるアルゴリズムを提供する。

関連論文リスト

Augmentations vs Algorithms: What Works in Self-Supervised Learning [9.194402355758164]
自己監督学習(SSL)におけるデータ強化,事前学習アルゴリズム,モデルアーキテクチャの相対効果について検討する。異なるSSLメソッドを単一の共有テンプレートに統合する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-03-08T23:42:06Z)
Investigating Semi-Supervised Learning Algorithms in Text Datasets [0.0]
大きなトレーニングデータセットを使用することで、ニューラルネットワークの一般化能力が向上する。半教師付き学習(SSL)は、ラベル付きデータが少なく、ラベルなしデータが多い場合に有用である。本研究では、自己学習、協調学習、三者学習、不一致を伴う三者学習など、拡張を必要としないSSLアルゴリズムを比較した。
論文参考訳（メタデータ） (2024-01-03T17:22:48Z)
Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文参考訳（メタデータ） (2023-05-31T12:24:06Z)
ArCL: Enhancing Contrastive Learning with Augmentation-Robust Representations [30.745749133759304]
我々は,自己教師付きコントラスト学習の伝達可能性を分析する理論的枠組みを開発する。対照的な学習は、その伝達可能性を制限するような、ドメイン不変の機能を学ぶのに失敗することを示す。これらの理論的知見に基づき、Augmentation-robust Contrastive Learning (ArCL) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2023-03-02T09:26:20Z)
Toward a Geometrical Understanding of Self-supervised Contrastive Learning [55.83778629498769]
自己教師付き学習(SSL)は、人間のアノテーションがなければ、伝達学習に有効なデータ表現を作成するための最重要技術の一つである。メインストリームSSL技術は、エンコーダとプロジェクタという2つのカスケードニューラルネットワークを備えた、特定のディープニューラルネットワークアーキテクチャに依存している。本稿では,データ拡張ポリシーの強みがデータ埋め込みに与える影響について検討する。
論文参考訳（メタデータ） (2022-05-13T23:24:48Z)
Unlabeled Data Help: Minimax Analysis and Adversarial Robustness [21.79888306754263]
自己教師付き学習(SSL)アプローチは、追加のラベルのないデータで学習アルゴリズムを補完する大きな可能性を実証することに成功した。既存のSSLアルゴリズムがラベル付きデータとラベルなしデータの情報を十分に活用できるかどうかはまだ不明である。本稿では,いくつかの統計モデルに基づく2020年の予測を引用し,再構成に基づくSSLアルゴリズムに対する肯定的な回答を与える。
論文参考訳（メタデータ） (2022-02-14T19:24:43Z)
Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文参考訳（メタデータ） (2022-02-04T14:12:31Z)
Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文参考訳（メタデータ） (2021-10-11T06:29:56Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文参考訳（メタデータ） (2020-10-22T17:18:48Z)
Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。