論文の概要: You Don't Need Data-Augmentation in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2406.09294v1
• Date: Thu, 13 Jun 2024 16:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:45:33.110883
• Title: You Don't Need Data-Augmentation in Self-Supervised Learning
• Title（参考訳）: 自己監督型学習にデータ拡張は必要ない
• Authors: Théo Moutakanni, Maxime Oquab, Marc Szafraniec, Maria Vakalopoulou, Piotr Bojanowski,
• Abstract要約: JEA(Joint-Embedding Architectures)とSSL(Self-Supervised Learning)は、優れたパフォーマンスを実現している。 生成的再構成モデルではマスキング以外のデータ拡張を使わずに高い性能を示した。 トレーニングデータの大きさが十分大きい場合, 画像の強い表現はJEAで得られ, 刈り取りだけはサイズを変えずに得られることを示す。
• 参考スコア（独自算出の注目度）: 8.384940156285847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-Supervised learning (SSL) with Joint-Embedding Architectures (JEA) has led to outstanding performances. All instantiations of this paradigm were trained using strong and well-established hand-crafted data augmentations, leading to the general belief that they are required for the proper training and performance of such models. On the other hand, generative reconstruction-based models such as BEIT and MAE or Joint-Embedding Predictive Architectures such as I-JEPA have shown strong performance without using data augmentations except masking. In this work, we challenge the importance of invariance and data-augmentation in JEAs at scale. By running a case-study on a recent SSL foundation model - DINOv2 - we show that strong image representations can be obtained with JEAs and only cropping without resizing provided the training data is large enough, reaching state-of-the-art results and using the least amount of augmentation in the literature. Through this study, we also discuss the impact of compute constraints on the outcomes of experimental deep learning research, showing that they can lead to very different conclusions.
• Abstract（参考訳）: JEA(Joint-Embedding Architectures)とSSL(Self-Supervised Learning)は、優れたパフォーマンスを実現している。 このパラダイムのすべてのインスタンス化は、強力で十分に確立された手作りのデータ拡張を使用してトレーニングされ、そのようなモデルの適切なトレーニングとパフォーマンスに必要である、という一般的な信念につながった。 一方, BEIT や MAE や I-JEPA などの統合埋め込み予測アーキテクチャのような生成的再構築モデルでは, マスキング以外のデータ拡張を使わずに, 高い性能を示した。 本研究では,大規模JEAにおける不変性とデータ拡張の重要性に挑戦する。 最近のSSL基盤モデルであるDINOv2でケーススタディを実行することで、トレーニングデータが十分に大きく、最先端の結果に到達し、文献で最小の増大量を使用することで、強い画像表現をJEAで得ることができ、最小限の収穫しか行えないことを示す。 本研究では,計算制約が実験的な深層学習研究の結果に与える影響についても考察し,それらが全く異なる結論をもたらすことを示す。

関連論文リスト

• T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data [0.0]
  自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
  論文  参考訳（メタデータ） (2024-10-07T13:15:07Z)
• Efficient Training of Self-Supervised Speech Foundation Models on a Compute Budget [57.807614181024114]
  本稿では,限定的な計算予算の下で,自己教師付き学習(SSL)を用いて音声基礎モデルを効率的に訓練する方法を検討する。 モデルアーキテクチャ、モデルサイズ、データサイズなど、予算に影響を与えるSSLの重要な要因について検討する。
  論文  参考訳（メタデータ） (2024-09-09T10:36:42Z)
• The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction [22.659005954676598]
  重み行列の高次成分を選択的に除去することにより,大規模言語モデルの性能を大幅に向上させることができることを示す。 LAER(Layer-Selective Rank reduction)と呼ばれるこの単純な介入は、トレーニングが完了した後、モデル上で行うことができる。 言語モデルとデータセットにまたがって、この発見の汎用性を実証する広範な実験を示す。
  論文  参考訳（メタデータ） (2023-12-21T03:51:08Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
  本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。 ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。 本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
  論文  参考訳（メタデータ） (2023-03-26T14:49:37Z)
• Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
  DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。 DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。 また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-16T22:45:43Z)
• Exploring the Effects of Data Augmentation for Drivable Area Segmentation [0.0]
  既存の画像データセットを解析することで、データ拡張の利点を調べることに重点を置いている。 以上の結果から,既存技術(SOTA)モデルの性能とロバスト性は劇的に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-08-06T03:39:37Z)
• Data augmentation for learning predictive models on EEG: a systematic comparison [79.84079335042456]
  脳波(EEG)分類タスクの深層学習は、ここ数年急速に増加している。 EEG分類タスクのディープラーニングは、比較的小さなEEGデータセットによって制限されている。 データ拡張は、コンピュータビジョンや音声などのアプリケーションにまたがる最先端のパフォーマンスを得るために重要な要素となっている。
  論文  参考訳（メタデータ） (2022-06-29T09:18:15Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。