論文の概要: Harnessing small projectors and multiple views for efficient vision pretraining

• arxiv url: http://arxiv.org/abs/2312.10725v2
• Date: Fri, 17 Jan 2025 07:01:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:58:30.684690
• Title: Harnessing small projectors and multiple views for efficient vision pretraining
• Title（参考訳）: 視覚前訓練のための小型プロジェクタのハーネス化と複数視点
• Authors: Kumar Krishna Agrawal, Arna Ghosh, Shagun Sodhani, Adam Oberman, Blake Richards,
• Abstract要約: 我々は、競争力と効率的な視覚表現学習のための実用的なレコメンデーションを設計するために、最近の分析結果に基づいて構築する。 この理想化された損失を、より効率的に計算できる機能的に等価な損失にどのように再構成できるかを示す。 我々は,CIFAR,STL,Imagenetのデータセットについて実験により検証した。
• 参考スコア（独自算出の注目度）: 11.325655646957186
• License:
• Abstract: Recent progress in self-supervised (SSL) visual representation learning has led to the development of several different proposed frameworks that rely on augmentations of images but use different loss functions. However, there are few theoretically grounded principles to guide practice, so practical implementation of each SSL framework requires several heuristics to achieve competitive performance. In this work, we build on recent analytical results to design practical recommendations for competitive and efficient SSL that are grounded in theory. Specifically, recent theory tells us that existing SSL frameworks are minimizing the same idealized loss, which is to learn features that best match the data similarity kernel defined by the augmentations used. We show how this idealized loss can be reformulated to a functionally equivalent loss that is more efficient to compute. We study the implicit bias of using gradient descent to minimize our reformulated loss function and find that using a stronger orthogonalization constraint with a reduced projector dimensionality should yield good representations. Furthermore, the theory tells us that approximating the reformulated loss should be improved by increasing the number of augmentations, and as such using multiple augmentations should lead to improved convergence. We empirically verify our findings on CIFAR, STL and Imagenet datasets, wherein we demonstrate an improved linear readout performance when training a ResNet-backbone using our theoretically grounded recommendations. Remarkably, we also demonstrate that by leveraging these insights, we can reduce the pretraining dataset size by up to 2$\times$ while maintaining downstream accuracy simply by using more data augmentations. Taken together, our work provides theoretically grounded recommendations that can be used to improve SSL convergence and efficiency.
• Abstract（参考訳）: 自己教師付き(SSL)視覚表現学習の最近の進歩は、画像の拡張に依存するが、異なる損失関数を使用するいくつかの異なるフレームワークの開発につながっている。 しかし、実践を導くための理論的根拠は少ないため、SSLフレームワークの実践的な実装には、競争性能を達成するためにいくつかのヒューリスティックが必要である。 本研究では,最近の解析結果に基づいて,理論上基礎を成す競争的で効率的なSSLのための実用的なレコメンデーションを設計する。 特に、最近の理論では、既存のSSLフレームワークは同じ理想化された損失を最小化しており、これは、使用した拡張によって定義されたデータ類似性カーネルに最もよくマッチする機能を学ぶことである。 この理想化された損失を、より効率的に計算できる機能的に等価な損失にどのように再構成できるかを示す。 本研究は, 勾配勾配勾配による損失関数の最小化に関する暗黙バイアスについて検討し, プロジェクター次元を縮小した強い直交化制約を用いることで, よい表現が得られることを見出した。 さらに, 改良された損失の近似は, 増補数の増加によって改善されるべきであり, 多重増補による収束性の向上が期待できる。 我々は、CIFAR、STL、Imagenetデータセットに関する我々の知見を実証的に検証し、理論的に根拠付けられたレコメンデーションを用いてResNetバックボーンをトレーニングする際の線形読み出し性能の改善を実証した。 注目すべきは、これらの洞察を活用することで、より多くのデータ拡張を使用することで、下流の精度を維持しながら、トレーニング済みデータセットのサイズを最大2$\times$まで削減できるということです。 私たちの研究は、SSLの収束と効率を改善するために使用できる理論的に根拠づけられたレコメンデーションを提供します。

関連論文リスト

• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• On Improving the Algorithm-, Model-, and Data- Efficiency of Self-Supervised Learning [18.318758111829386]
  非パラメトリックなインスタンス識別に基づく効率的なシングルブランチSSL手法を提案する。 また,確率分布と正方形根版とのKL分散を最小限に抑える新しい自己蒸留損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T06:39:04Z)
• Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
  この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。 ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-21T05:22:39Z)
• Gradient constrained sharpness-aware prompt learning for vision-language models [99.74832984957025]
  本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。 最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。 本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-14T17:13:54Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels? [42.404871049605084]
  SSLとRLの損失を共同で最適化するコントラスト強化学習フレームワーク(例:CURL)を拡張します。 我々の観察では、既存のRLのSSLフレームワークは、ベースラインよりも有意義な改善をもたらしていないことを示唆している。 実際のロボット環境を含む複数の異なる環境におけるアプローチの評価を行った。
  論文  参考訳（メタデータ） (2022-06-10T17:59:30Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。