論文の概要: BiSSL: Bilevel Optimization for Self-Supervised Pre-Training and Fine-Tuning

• arxiv url: http://arxiv.org/abs/2410.02387v2
• Date: Tue, 19 Nov 2024 15:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:34:28.883317
• Title: BiSSL: Bilevel Optimization for Self-Supervised Pre-Training and Fine-Tuning
• Title（参考訳）: BiSSL: 自己監督型事前トレーニングとファインチューニングのためのバイレベル最適化
• Authors: Gustav Wagner Zakarias, Lars Kai Hansen, Zheng-Hua Tan,
• Abstract要約: BiSSLは、自己教師型学習において、プリテキスト事前学習と下流の微調整ステージのアライメントを強化するために、バイレベル最適化を導入する、第一級のトレーニングフレームワークである。 本稿では,BiSSLで定義された2つの目的の最適化を交互に行うトレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 12.749627564482282
• License:
• Abstract: In this work, we present BiSSL, a first-of-its-kind training framework that introduces bilevel optimization to enhance the alignment between the pretext pre-training and downstream fine-tuning stages in self-supervised learning. BiSSL formulates the pretext and downstream task objectives as the lower- and upper-level objectives in a bilevel optimization problem and serves as an intermediate training stage within the self-supervised learning pipeline. By more explicitly modeling the interdependence of these training stages, BiSSL facilitates enhanced information sharing between them, ultimately leading to a backbone parameter initialization that is better suited for the downstream task. We propose a training algorithm that alternates between optimizing the two objectives defined in BiSSL. Using a ResNet-18 backbone pre-trained with SimCLR on the STL10 dataset, we demonstrate that our proposed framework consistently achieves improved or competitive classification accuracies across various downstream image classification datasets compared to the conventional self-supervised learning pipeline. Qualitative analyses of the backbone features further suggest that BiSSL enhances the alignment of downstream features in the backbone prior to fine-tuning.
• Abstract（参考訳）: そこで本研究では,前文事前学習と下流の微調整段階の整合性を高めるために,バイレベル最適化を導入する,第1世代のトレーニングフレームワークであるBiSSLを紹介する。 BiSSLは、二段階最適化問題における下層および上層目標として、プリテキストと下流タスクの目的を定式化し、自己教師型学習パイプライン内の中間訓練段階として機能する。 これらのトレーニングステージの相互依存性をより明確にモデル化することで、BiSSLはそれらの間の情報共有の強化を促進し、最終的に下流タスクに適したバックボーンパラメータの初期化につながる。 本稿では,BiSSLで定義された2つの目的の最適化を交互に行うトレーニングアルゴリズムを提案する。 STL10データセット上でSimCLRで事前トレーニングしたResNet-18のバックボーンを用いて、提案するフレームワークは、従来の自己教師型学習パイプラインと比較して、下流画像分類データセットにおける改善された、あるいは競争的な分類精度を一貫して達成することを示した。 バックボーンの特徴の質的分析は、微調整の前に、BiSSLがバックボーンの下流の特徴のアライメントを強化することを示唆している。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
  教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。 本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。 そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
  論文  参考訳（メタデータ） (2024-02-04T10:52:43Z)
• Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization [73.98386682604122]
  両レベル共同教師なし・教師付き訓練(BL-JUST)と呼ばれる自動音声認識(ASR)タスクのための音響モデルのトレーニングのための,バイレベル最適化に基づく新たなトレーニング手法を提案する。 BL-JUSTは、教師なしの損失と教師なしの損失で下層と上層を最適化し、最近のペナルティベースの二レベル最適化の進歩を利用して、安価で複雑なASR問題と厳密な収束を保証する。
  論文  参考訳（メタデータ） (2024-01-13T05:01:47Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
  自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。 本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T01:06:10Z)
• Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
  与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。 対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。 非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
  論文  参考訳（メタデータ） (2022-09-13T18:01:03Z)
• On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning [32.53142486214591]
  自己監視学習(SSL)はディープラーニング研究の非常に活発な領域となり、分類やその他のタスクの事前学習方法として広く利用されている。 ここでは、実際、ハイパーパラメータとデータ拡張戦略の選択は、パフォーマンスに劇的な影響を与える可能性があることを示す。 我々は,グループ間のサンプリングを最適化するグループ拡張アルゴリズム,GroupAugmentを導入する。
  論文  参考訳（メタデータ） (2022-07-16T08:31:11Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
  プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。 大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。 次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
  論文  参考訳（メタデータ） (2021-02-07T09:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。