Fugu-MT 論文翻訳(概要): Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation

論文の概要: Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation

arxiv url: http://arxiv.org/abs/2002.10345v1
Date: Mon, 24 Feb 2020 16:17:12 GMT
ステータス: 処理完了
システム内更新日: 2022-12-29 02:53:54.305672
Title: Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation
Title（参考訳）: 自己組織化と自己蒸留によるBERT微細調整の改善
Authors: Yige Xu, Xipeng Qiu, Ligao Zhou, Xuanjing Huang
Abstract要約: BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
参考スコア（独自算出の注目度）: 84.64004917951547
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fine-tuning pre-trained language models like BERT has become an effective way in NLP and yields state-of-the-art results on many downstream tasks. Recent studies on adapting BERT to new tasks mainly focus on modifying the model structure, re-designing the pre-train tasks, and leveraging external data and knowledge. The fine-tuning strategy itself has yet to be fully explored. In this paper, we improve the fine-tuning of BERT with two effective mechanisms: self-ensemble and self-distillation. The experiments on text classification and natural language inference tasks show our proposed methods can significantly improve the adaption of BERT without any external data or knowledge.
Abstract（参考訳）: BERTのような微調整済みの言語モデルは、NLPにおいて有効な方法となり、多くの下流タスクで最先端の結果が得られる。 BERTを新しいタスクに適用する最近の研究は、主にモデル構造の変更、事前訓練タスクの再設計、外部データと知識の活用に焦点を当てている。微調整戦略自体はまだ完全には検討されていない。本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。テキスト分類と自然言語推論タスクに関する実験により,提案手法は外部データや知識を使わずにBERTの適応性を大幅に向上できることを示した。

関連論文リスト

LegalTurk Optimized BERT for Multi-Label Text Classification and NER [0.0]
多様なマスキング戦略を組み合わせることで、革新的な事前学習手法を導入する。本研究では,法的領域における2つの重要なダウンストリームタスク,すなわち名義認識と多ラベルテキスト分類に焦点を当てる。提案手法は,従来のBERTモデルと比較して,NERと複数ラベルのテキスト分類タスクにおいて有意な改善が認められた。
論文参考訳（メタデータ） (2024-06-30T10:19:54Z)
Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
論文参考訳（メタデータ） (2023-03-02T09:03:43Z)
BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
論文参考訳（メタデータ） (2022-03-12T09:46:13Z)
PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
論文参考訳（メタデータ） (2022-01-12T06:54:21Z)
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2021-12-15T04:20:35Z)
Using Prior Knowledge to Guide BERT's Attention in Semantic Textual Matching Tasks [13.922700041632302]
深層トランスフォーマーモデル(Bidirectional Representations from Transformers (BERT))に先行知識を組み込む問題について検討する。 BERTがもっとも必要とするタスク固有の知識と、それが最も必要である場所をよりよく理解する。実験により,提案した知識を付加したBERTが意味的テキストマッチング性能を一貫して改善できることが実証された。
論文参考訳（メタデータ） (2021-02-22T12:07:16Z)
Augmenting BERT Carefully with Underrepresented Linguistic Features [6.096779295981379]
変換器 (BERT) を用いた配列分類モデルにより, 人間の音声の転写からアルツハイマー病 (AD) を検出するのに有効であることが証明された。従来の研究では、追加情報でモデルを増強することで、様々なタスクにおけるBERTのパフォーマンスを改善することが可能であった。これらの特徴と組み合わせて調整したBERTは,細調整したBERT単独に比べて,AD分類の性能を最大5%向上させることを示した。
論文参考訳（メタデータ） (2020-11-12T01:32:41Z)
DagoBERT: Generating Derivational Morphology with a Pretrained Language Model [20.81930455526026]
事前学習された言語モデル(PLM)は、派生的に複雑な単語を生成することができることを示す。私たちの最高のモデルであるDagoBERTは、導出生成における過去の技術状況よりも明らかに優れています。実験の結果,入力セグメンテーションがBERTの導出知識に重大な影響を及ぼすことが示された。
論文参考訳（メタデータ） (2020-05-02T01:26:46Z)
Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
論文参考訳（メタデータ） (2020-04-27T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。