Fugu-MT 論文翻訳(概要): BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization

論文の概要: BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization

arxiv url: http://arxiv.org/abs/2410.02387v4
Date: Wed, 21 May 2025 13:32:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-22 15:42:56.921465
Title: BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization
Title（参考訳）: BiSSL: 双方向最適化による自己監督型事前トレーニングと下流ファインチューニングのアライメント向上
Authors: Gustav Wagner Zakarias, Lars Kai Hansen, Zheng-Hua Tan,
Abstract要約: BiSSLは、微調整の前に下流タスクと自己教師付き事前訓練されたモデルのアライメントを強化する、新しいバイレベルトレーニングフレームワークである。本稿では,BiSSLのトレーニングアルゴリズムを提案する。提案手法は,12の下流画像分類データセットの大部分とオブジェクト検出の精度を大幅に向上させる。
参考スコア（独自算出の注目度）: 12.749627564482282
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Models initialized from self-supervised pretraining may suffer from poor alignment with downstream tasks, reducing the extent to which subsequent fine-tuning can adapt pretrained features toward downstream objectives. To mitigate this, we introduce BiSSL, a novel bilevel training framework that enhances the alignment of self-supervised pretrained models with downstream tasks prior to fine-tuning. BiSSL acts as an intermediate training stage conducted after conventional self-supervised pretraining and is tasked with solving a bilevel optimization problem that incorporates the pretext and downstream training objectives in its lower- and upper-level objectives, respectively. This approach explicitly models the interdependence between the pretraining and fine-tuning stages within the conventional self-supervised learning pipeline, facilitating enhanced information sharing between them that ultimately leads to a model initialization better aligned with the downstream task. We propose a general training algorithm for BiSSL that is compatible with a broad range of pretext and downstream tasks. Using SimCLR and Bootstrap Your Own Latent to pretrain ResNet-50 backbones on the ImageNet dataset, we demonstrate that our proposed framework significantly improves accuracy on the vast majority of 12 downstream image classification datasets, as well as on object detection. Exploratory analyses alongside investigative experiments further provide compelling evidence that BiSSL enhances downstream alignment.
Abstract（参考訳）: 自己教師付き事前訓練から初期化されたモデルは、下流タスクとの整合性が悪くなり、後続の微調整が下流目標に対して事前訓練された特徴を適応できる範囲を減少させる可能性がある。これを軽減するために、我々はBiSSLという新しい2段階のトレーニングフレームワークを導入し、微調整に先立って、自己教師付き事前訓練されたモデルと下流タスクとのアライメントを強化する。 BiSSLは、従来の自己指導型事前訓練の後に実施される中間訓練段階として機能し、プリテキストと下流トレーニングの目的をそれぞれ下層と上層に組み込んだ双レベル最適化問題を解決する。このアプローチは、従来の自己教師型学習パイプラインにおける事前学習と微調整の段階間の相互依存性を明示的にモデル化し、それらの間の情報共有を促進し、最終的には、下流タスクに整合したモデル初期化につながる。本稿では,BiSSLのトレーニングアルゴリズムを提案する。我々は、SimCLRとBootstrap Your Own Latentを使用して、ImageNetデータセット上のResNet-50バックボーンを事前トレーニングし、提案したフレームワークが、12の下流画像分類データセットの大多数、およびオブジェクト検出の精度を大幅に向上することを示した。探索的分析と調査実験は、さらにBiSSLが下流のアライメントを強化するという説得力のある証拠を提供する。

関連論文リスト

Uni-Sign: Toward Unified Sign Language Understanding at Scale [90.76641997060513]
本稿では,事前学習と下流SLUタスクのギャップを解消する統合事前学習フレームワークを提案する。 Uni-Signは、複数の下流SLUタスクにまたがる最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2025-01-25T11:51:23Z)
Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文参考訳（メタデータ） (2024-07-11T10:35:53Z)
BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文参考訳（メタデータ） (2024-02-04T10:52:43Z)
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization [73.98386682604122]
両レベル共同教師なし・教師付き訓練(BL-JUST)と呼ばれる自動音声認識(ASR)タスクのための音響モデルのトレーニングのための,バイレベル最適化に基づく新たなトレーニング手法を提案する。 BL-JUSTは、教師なしの損失と教師なしの損失で下層と上層を最適化し、最近のペナルティベースの二レベル最適化の進歩を利用して、安価で複雑なASR問題と厳密な収束を保証する。
論文参考訳（メタデータ） (2024-01-13T05:01:47Z)
In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文参考訳（メタデータ） (2023-07-04T10:57:52Z)
Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
論文参考訳（メタデータ） (2022-12-22T05:42:54Z)
FUSSL: Fuzzy Uncertain Self Supervised Learning [8.31483061185317]
自己教師付き学習(SSL)は、アノテーションを使わずにラベルなしデータのパワーを活用するための、非常に成功した技術になっています。本稿では,単一スーパーバイザ信号の使用によるSSLの基本的限界を初めて認識する。 SSLベースラインに対して,堅牢で汎用的な階層型学習/学習プロトコルを提案する。
論文参考訳（メタデータ） (2022-10-28T01:06:10Z)
Improving Self-Supervised Learning by Characterizing Idealized Representations [155.1457170539049]
与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
論文参考訳（メタデータ） (2022-09-13T18:01:03Z)
On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning [32.53142486214591]
自己監視学習(SSL)はディープラーニング研究の非常に活発な領域となり、分類やその他のタスクの事前学習方法として広く利用されている。ここでは、実際、ハイパーパラメータとデータ拡張戦略の選択は、パフォーマンスに劇的な影響を与える可能性があることを示す。我々は,グループ間のサンプリングを最適化するグループ拡張アルゴリズム,GroupAugmentを導入する。
論文参考訳（メタデータ） (2022-07-16T08:31:11Z)
Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文参考訳（メタデータ） (2021-10-26T04:03:45Z)
CSS-LM: A Contrastive Framework for Semi-supervised Fine-tuning of Pre-trained Language Models [59.49705076369856]
プレトレーニング言語モデル(PLM)の微調整フェーズを改善するための新しいフレームワークを提案する。大規模未ラベルコーパスから,タスクに対するドメインレベルおよびクラスレベルの意味的関連性に応じて,正および負のインスタンスを検索する。次に、検索したラベル付きおよびオリジナルラベル付きの両方のインスタンスに対して、対照的な半教師付き学習を行い、PLMが重要なタスク関連セマンティックな特徴をキャプチャするのを助ける。
論文参考訳（メタデータ） (2021-02-07T09:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。