論文の概要: ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning

• arxiv url: http://arxiv.org/abs/2602.03563v1
• Date: Tue, 03 Feb 2026 14:08:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.50067
• Title: ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
• Title（参考訳）: ACL: BERTとマルチエグジットBERTファインチューニングを改善したコントラスト学習
• Authors: Wei Zhu,
• Abstract要約: 本稿では,新しいアンダーラインアライメント・アンダーラインコントラスト型アンダーラインラーニング(ACL)フレームワークを紹介する。 ACL-Embedはラベル埋め込みを異なるラベルを持つ追加の強化サンプルとみなし、ラベル埋め込みをそのサンプルの表現と整合させるために対照的な学習を採用する。 ACL-Embed目標とCE損失の併用による最適化を容易にするために,ACL-Gradを提案し,この2つの目的が矛盾している場合,ACL-Embed項を破棄する。
• 参考スコア（独自算出の注目度）: 3.615835506868351
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite its success in self-supervised learning, contrastive learning is less studied in the supervised setting. In this work, we first use a set of pilot experiments to show that in the supervised setting, the cross-entropy loss objective (CE) and the contrastive learning objective often conflict with each other, thus hindering the applications of CL in supervised settings. To resolve this problem, we introduce a novel \underline{A}ligned \underline{C}ontrastive \underline{L}earning (ACL) framework. First, ACL-Embed regards label embeddings as extra augmented samples with different labels and employs contrastive learning to align the label embeddings with its samples' representations. Second, to facilitate the optimization of ACL-Embed objective combined with the CE loss, we propose ACL-Grad, which will discard the ACL-Embed term if the two objectives are in conflict. To further enhance the performances of intermediate exits of multi-exit BERT, we further propose cross-layer ACL (ACL-CL), which is to ask the teacher exit to guide the optimization of student shallow exits. Extensive experiments on the GLUE benchmark results in the following takeaways: (a) ACL-BRT outperforms or performs comparably with CE and CE+SCL on the GLUE tasks; (b) ACL, especially CL-ACL, significantly surpasses the baseline methods on the fine-tuning of multi-exit BERT, thus providing better quality-speed tradeoffs for low-latency applications.
• Abstract（参考訳）: 自己教師型学習の成功にもかかわらず、教師型環境ではコントラスト学習があまり研究されない。 本研究では,まず,教師付き環境におけるCLの適用を阻害する要因として,教師付き環境におけるクロスエントロピー損失目標(CE)とコントラスト学習目標(CE)が相反することを示す。 この問題を解決するために, 新規な \underline{A}ligned \underline{C}ontrastive \underline{L}earning (ACL) フレームワークを提案する。 まず、ACL-Embedはラベル埋め込みを異なるラベルを持つ追加の強化サンプルとみなし、ラベル埋め込みをそのサンプルの表現と整合させるために対照的な学習を採用する。 次に,ACL-Embed目標とCE損失の併用による最適化を容易にするために,ACL-Gradを提案する。 さらに,マルチエクイットBERTの中間出口の性能を高めるために,教師の出口に生徒の浅い出口の最適化を指導するクロスレイヤーACL(ACL-CL)を提案する。 GLUEベンチマークの大規模な実験の結果、以下の結果が得られた。 a) ACL-BRT は GLUE タスクにおいて CE および CE+SCL と相容れない性能を発揮するか、あるいは実行する。 (b)ACL,特にCL-ACLは,マルチエグゼクティブBERTの微調整におけるベースライン手法を著しく上回り,低レイテンシアプリケーションに対する高品質なトレードオフを提供する。

関連論文リスト

• Aligned Contrastive Loss for Long-Tailed Recognition [43.33186901322387]
  そこで本研究では,ACL(Aligned Contrastive Learning)アルゴリズムを提案する。 これらの結果から,マルチビュー学習が性能を向上させる一方で,コントラスト学習はビュー数の増加とともにモデル一般化を継続的に向上させるものではないことが示唆された。 我々のACLアルゴリズムは,これらの問題を排除し,複数のベンチマークで高い性能を示すように設計されている。
  論文  参考訳（メタデータ） (2025-06-01T16:19:30Z)
• In-context Continual Learning Assisted by an External Continual Learner [19.382196203113836]
  既存の継続学習(CL)手法は、大規模言語モデル(LLM)の微調整や適応に頼っている。 InCAは、外部連続学習者(ECL)をICLと統合し、CFなしでスケーラブルなCLを実現する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-12-20T04:44:41Z)
• Fusion Self-supervised Learning for Recommendation [16.02820746003461]
  本稿では,Fusion Self-supervised Learningフレームワークを提案する。 具体的には、GCNプロセスからの高次情報を用いてコントラストビューを作成します。 各種CL目標からの自己教師付き信号を統合するために,先進CL目標を提案する。
  論文  参考訳（メタデータ） (2024-07-29T04:30:38Z)
• RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
  本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。 RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。 BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
  論文  参考訳（メタデータ） (2024-01-28T11:51:09Z)
• Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks [119.38992029332883]
  不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。 我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。 提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
  論文  参考訳（メタデータ） (2022-11-01T04:26:45Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)
• Learning with Multiple Complementary Labels [94.8064553345801]
  補ラベル(CL)は、単に例の不正なクラスを示すが、CLで学習すると、多クラス分類器が生成される。 そこで本研究では,MCLを各例に示すための新しい問題設定と,MCLを学習するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2019-12-30T13:50:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。