論文の概要: Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models

• arxiv url: http://arxiv.org/abs/2405.14437v1
• Date: Thu, 23 May 2024 11:08:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 15:34:33.757922
• Title: Combining Denoising Autoencoders with Contrastive Learning to fine-tune Transformer Models
• Title（参考訳）: デノイングオートエンコーダとコントラスト学習を組み合わせた微調整変圧器モデル
• Authors: Alejo Lopez-Avila, Víctor Suárez-Paniagua,
• Abstract要約: 本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。 我々は,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ配信に適用する。 さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, using large pretrained Transformer models for transfer learning tasks has evolved to the point where they have become one of the flagship trends in the Natural Language Processing (NLP) community, giving rise to various outlooks such as prompt-based, adapters or combinations with unsupervised approaches, among many others. This work proposes a 3 Phase technique to adjust a base model for a classification task. First, we adapt the model's signal to the data distribution by performing further training with a Denoising Autoencoder (DAE). Second, we adjust the representation space of the output to the corresponding classes by clustering through a Contrastive Learning (CL) method. In addition, we introduce a new data augmentation approach for Supervised Contrastive Learning to correct the unbalanced datasets. Third, we apply fine-tuning to delimit the predefined categories. These different phases provide relevant and complementary knowledge to the model to learn the final task. We supply extensive experimental results on several datasets to demonstrate these claims. Moreover, we include an ablation study and compare the proposed method against other ways of combining these techniques.
• Abstract（参考訳）: 近年,翻訳学習タスクに大規模な事前学習トランスフォーマーモデルを用いることで,自然言語処理(NLP)コミュニティにおけるフラッグシップの1つとなり,プロンプトベースやアダプタ,非教師なしアプローチとの組合せなど,さまざまな視点が生まれている。 本研究は,分類タスクのベースモデルを調整するための3段階手法を提案する。 まず,DAE(Denoising Autoencoder)を用いたさらなるトレーニングを行うことで,モデルの信号をデータ分布に適応させる。 第2に、コントラシブラーニング(CL)法によるクラスタリングにより、出力の表現空間を対応するクラスに調整する。 さらに、教師付きコントラスト学習のための新しいデータ拡張手法を導入し、不均衡なデータセットを修正する。 第3に、事前に定義されたカテゴリを分離するために微調整を適用する。 これらの異なるフェーズは、最終タスクを学ぶためにモデルに関連があり、補完的な知識を提供する。 これらの主張を実証するために、いくつかのデータセットに対して広範な実験結果を提供する。 さらに,この手法を他の手法と比較したアブレーション研究も含んでいる。

関連論文リスト

• Low-Rank Continual Personalization of Diffusion Models [3.5707423185282665]
  近年のDreamboothのような拡散モデルのパーソナライズ手法では、事前訓練されたモデルを微調整して新しい概念を生成することができる。 これらのテクニックを複数のタスクに適用して、いくつかの新しいオブジェクトやスタイルを含むようにすることで、アダプタ間の相互干渉につながる。 実験の結果, 提案手法は, ナチブアプローチと比較して, 忘れを軽減できることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T10:19:09Z)
• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Adapt & Align: Continual Learning with Generative Models Latent Space Alignment [15.729732755625474]
  本稿では、生成モデルにおける潜在表現を整列させることにより、ニューラルネットワークの連続的な学習方法であるAdapt & Alignを紹介する。 ニューラルネットワークは、追加データで再トレーニングされた場合、突然のパフォーマンスが低下する。 生成モデルを導入し,その更新過程を2つの部分に分割することで,これらの問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-21T10:02:17Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Improving Contrastive Learning with Model Augmentation [123.05700988581806]
  このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。 シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
  論文  参考訳（メタデータ） (2022-03-25T06:12:58Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。