論文の概要: Efficiency for Free: Ideal Data Are Transportable Representations

• arxiv url: http://arxiv.org/abs/2405.14669v1
• Date: Thu, 23 May 2024 15:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:26:04.215203
• Title: Efficiency for Free: Ideal Data Are Transportable Representations
• Title（参考訳）: 自由のための効率性:理想的なデータは輸送可能な表現である
• Authors: Peng Sun, Yi Jiang, Tao Lin,
• Abstract要約: モデル生成表現は共有線型空間に収束し、モデル間の効果的な線形移動を促進する。 本稿では,Representation Learning Accelerator (ReLA) を提案する。 動的データ生成の事前モデルとしてCLIP ViT B/16を使用することで、ReLA支援のBYOLは、ImageNet-1Kの50%でResNet-50をスクラッチからトレーニングすることができる。
• 参考スコア（独自算出の注目度）: 12.358393766570732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data, the seminal opportunity and challenge in modern machine learning, currently constrains the scalability of representation learning and impedes the pace of model evolution. Existing paradigms tackle the issue of learning efficiency over massive datasets from the perspective of self-supervised learning and dataset distillation independently, while neglecting the untapped potential of accelerating representation learning from an intermediate standpoint. In this work, we delve into defining the ideal data properties from both optimization and generalization perspectives. We propose that model-generated representations, despite being trained on diverse tasks and architectures, converge to a shared linear space, facilitating effective linear transport between models. Furthermore, we demonstrate that these representations exhibit properties conducive to the formation of ideal data. The theoretical/empirical insights therein inspire us to propose a Representation Learning Accelerator (ReLA), which leverages a task- and architecture-agnostic, yet publicly available, free model to form a dynamic data subset and thus accelerate (self-)supervised learning. For instance, employing a CLIP ViT B/16 as a prior model for dynamic data generation, ReLA-aided BYOL can train a ResNet-50 from scratch with 50% of ImageNet-1K, yielding performance surpassing that of training on the full dataset. Additionally, employing a ResNet-18 pre-trained on CIFAR-10 can enhance ResNet-50 training on 10% of ImageNet-1K, resulting in a 7.7% increase in accuracy.
• Abstract（参考訳）: 現代の機械学習における初歩的な機会と課題であるデータは現在、表現学習のスケーラビリティを制約し、モデル進化のペースを妨げる。 既存のパラダイムは、自己監督的な学習とデータセットの蒸留の観点から、大規模なデータセットに対する学習効率の問題に対処する一方で、中間的な視点から表現学習を加速する未解決の可能性を無視する。 本研究では、最適化と一般化の両方の観点から理想的なデータ特性を定義する。 モデル生成表現は、多様なタスクやアーキテクチャで訓練されているにもかかわらず、共有線形空間に収束し、モデル間の効果的な線形輸送を容易にすることを提案する。 さらに,これらの表現が理想データの形成にともなう特性を示すことを示す。 理論的・経験的な洞察は、タスクに依存しない、公開されていない自由モデルを利用して動的データサブセットを形成し、それによって(自己)教師付き学習を加速するRepresentation Learning Accelerator (ReLA)を提案することを促す。 例えば、動的データ生成の事前モデルとしてCLIP ViT B/16を使用することで、ReLA支援のBYOLは、ImageNet-1Kの50%でResNet-50をスクラッチからトレーニングすることができる。 さらに、CIFAR-10で事前訓練されたResNet-18を使用することで、ImageNet-1Kの10%でのResNet-50トレーニングが強化され、精度が7.7%向上する。

関連論文リスト

• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• SeiT++: Masked Token Modeling Improves Storage-efficient Training [36.95646819348317]
  近年のDeep Neural Network(DNN)モデルでは,コンピュータビジョンタスクのパフォーマンスが大幅に向上している。 高度に一般化可能で高性能なビジョンモデルを実現するには、拡張データセットが必要である。 SeiTによる最近のブレークスルーは、Vector-Quantized (VQ)特徴ベクトル(トークン)を視覚分類のためのネットワーク入力として使用することを提案した。 本稿では,自己指導型事前学習のためのMasked Token Modeling (MTM)を統合し,SeyTを拡張した。
  論文  参考訳（メタデータ） (2023-12-15T04:11:34Z)
• On the Diversity and Realism of Distilled Dataset: An Efficient Dataset Distillation Paradigm [8.220508517570577]
  蒸留データの多様性とリアリズムを両立させるRDEDを提案する。 完全なImageNet-1Kを7分以内で、クラス毎に10の画像からなる小さなデータセットに抽出し、注目すべき42%のトップ1精度を実現する。
  論文  参考訳（メタデータ） (2023-12-06T14:40:05Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Instance-Conditioned GAN Data Augmentation for Representation Learning [29.36473147430433]
  DA_IC-GANは、学習可能なデータ拡張モジュールで、ほとんどの最先端のトレーニングレシピと組み合わせて、棚外で使用することができる。 DA_IC-GAN は最大容量モデルで 1%p から 2%p の精度を向上できることを示す。 また,DA_IC-GANを自己指導型トレーニングレシピと組み合わせることで,いくつかの設定で1%pの精度向上が達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-16T22:45:43Z)
• Offline Q-Learning on Diverse Multi-Task Data Both Scales And Generalizes [100.69714600180895]
  オフラインのQ-ラーニングアルゴリズムは、モデルキャパシティでスケールする強力なパフォーマンスを示す。 最大8000万のパラメータネットワークを用いて,40のゲームに対してほぼ人間に近いパフォーマンスで1つのポリシーをトレーニングする。 リターン条件付き教師付きアプローチと比較して、オフラインQラーニングはモデルキャパシティと同様にスケールし、特にデータセットが最適以下である場合にはパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-11-28T08:56:42Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。