論文の概要: $FastDoc$: Domain-Specific Fast Pre-training Technique using
Document-Level Metadata and Taxonomy
- arxiv url: http://arxiv.org/abs/2306.06190v2
- Date: Tue, 14 Nov 2023 21:51:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 20:10:58.283067
- Title: $FastDoc$: Domain-Specific Fast Pre-training Technique using
Document-Level Metadata and Taxonomy
- Title（参考訳）: $FastDoc$: ドキュメントレベルメタデータと分類を用いたドメイン特有な高速事前トレーニング技術
- Authors: Abhilash Nandy, Manav Nitin Kapadnis, Sohan Patnaik, Yash Parag
Butala, Pawan Goyal, Niloy Ganguly
- Abstract要約: $FastDoc$は計算要求を大幅に削減するために設計された新しいアプローチである。
文レベルの埋め込みを用いたオープンドメイントランスフォーマーエンコーダの継続的な事前トレーニングを含む。
$FastDoc$は、競合するアプローチと比較して、約1000倍、4,500倍、500倍の計算削減を実現している。
- 参考スコア（独自算出の注目度）: 24.118143975658217
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the demand for sophisticated Natural Language Processing (NLP) models
continues to grow, so does the need for efficient pre-training techniques.
Current NLP models undergo resource-intensive pre-training. In response, we
introduce $FastDoc$ (Fast Pre-training Technique using Document-Level Metadata
and Taxonomy), a novel approach designed to significantly reduce computational
demands. $FastDoc$ leverages document metadata and domain-specific taxonomy as
supervision signals. It involves continual pre-training of an open-domain
transformer encoder using sentence-level embeddings, followed by fine-tuning
using token-level embeddings. We evaluate $FastDoc$ on six tasks across nine
datasets spanning three distinct domains. Remarkably, $FastDoc$ achieves
remarkable compute reductions of approximately 1,000x, 4,500x, 500x compared to
competitive approaches in Customer Support, Scientific, and Legal domains,
respectively. Importantly, these efficiency gains do not compromise performance
relative to competitive baselines. Furthermore, reduced pre-training data
mitigates catastrophic forgetting, ensuring consistent performance in
open-domain scenarios. $FastDoc$ offers a promising solution for
resource-efficient pre-training, with potential applications spanning various
domains.
- Abstract（参考訳）: 高度な自然言語処理(NLP)モデルの需要が拡大するにつれ、効率的な事前学習技術の必要性も高まっている。
現在のNLPモデルはリソース集約型事前学習を行っている。
これに対し、計算要求を大幅に削減する新しいアプローチである$FastDoc$(Document-Level MetadataとTaxonomyを用いたFast Pre-training Technique)を導入する。
$FastDoc$は、ドキュメントメタデータとドメイン固有の分類を監視信号として利用する。
文レベルの埋め込みを用いたオープンドメイントランスフォーマーエンコーダの継続的な事前トレーニングと、トークンレベルの埋め込みによる微調整を含む。
3つの異なるドメインにまたがる9つのデータセットにわたる6つのタスクに対して$FastDoc$を評価する。
驚くべきことに、$fastdoc$は、顧客サポート、科学、法的なドメインにおける競争的アプローチと比較して、約1000倍、4500倍、500倍という驚くべき計算量削減を達成している。
重要なことは、これらの効率向上は、競争ベースラインと比較してパフォーマンスを損なうことはない。
さらに、事前トレーニングデータの削減は破滅的な忘れを緩和し、オープンドメインシナリオにおける一貫したパフォーマンスを確保する。
$FastDoc$は、リソース効率の良い事前トレーニングのための有望なソリューションを提供する。
関連論文リスト
- A Unified Data Augmentation Framework for Low-Resource Multi-Domain Dialogue Generation [52.0964459842176]
現在の最先端の対話システムは、広範なトレーニングデータセットに大きく依存している。
我々はtextbfAMD$2$G と呼ばれる textbfMulti-textbfDomain textbfDialogue textbfGeneration のための新しいデータ textbfAugmentation フレームワークを提案する。
AMD$2$Gフレームワークは、データ拡張プロセスと、ドメインに依存しないトレーニングとドメイン適応トレーニングという2段階のトレーニングアプローチで構成されている。
論文 参考訳（メタデータ） (2024-06-14T09:52:27Z) - Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization [39.14048972373775]
テストタイムドメイン適応は、ソースドメインでトレーニングされたモデルを、ラベルのないいくつかのイメージを使用して、未表示のターゲットドメインに適応することを目的としている。
従来の作業は通常、ラベルとドメイン間の知識を明示的に分離することなく、ネットワーク全体をナビゲート的に更新する。
本稿では,BN層のみを操作することにより,そのような学習の干渉を低減し,ドメイン知識の学習を高めることを提案する。
論文 参考訳（メタデータ） (2023-12-15T19:22:21Z) - AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot
Classification [53.84663977283108]
事前学習文(SEs)に基づく文章分類は効率的で堅牢で効果的である。
本稿では, DAPT から SEPT を分離する AdaSent を提案する。
AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。
論文 参考訳（メタデータ） (2023-11-01T10:00:15Z) - Domain Adaptation for Time-Series Classification to Mitigate Covariate
Shift [3.071136270246468]
本稿では,2つのステップに基づいた新しいドメイン適応手法を提案する。
まず、いくつかのサンプルから、ソースからターゲットドメインへの最適なクラス依存変換を探索する。
次に、埋め込み類似性技術を用いて、推論時に対応する変換を選択する。
論文 参考訳（メタデータ） (2022-04-07T10:27:14Z) - Contrastive Learning and Self-Training for Unsupervised Domain
Adaptation in Semantic Segmentation [71.77083272602525]
UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。
本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。
提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
論文 参考訳（メタデータ） (2021-05-05T11:55:53Z) - Robust wav2vec 2.0: Analyzing Domain Shift in Self-Supervised
Pre-Training [67.71228426496013]
事前トレーニング中にターゲットドメインデータを使用することで,さまざまなセットアップで大幅なパフォーマンス向上が期待できる。
複数のドメインで事前トレーニングを行うことで、トレーニング中に見られないドメインのパフォーマンスの一般化が向上します。
論文 参考訳（メタデータ） (2021-04-02T12:53:15Z) - Prototypical Cross-domain Self-supervised Learning for Few-shot
Unsupervised Domain Adaptation [91.58443042554903]
FUDA(Unsupervised Domain Adaptation)のためのPCS(Prototypical Cross-Domain Self-Supervised Learning)フレームワークを提案する。
PCSは、クロスドメインのローレベルな機能アライメントを行うだけでなく、ドメイン間の共有埋め込み空間におけるセマンティック構造をエンコードおよびアライメントする。
最新の手法と比較して、pcsは、fuda上の異なるドメインペアの平均分類精度を10.5%、office、office-home、visda-2017、domainnetで3.5%、9.0%、13.2%改善している。
論文 参考訳（メタデータ） (2021-03-31T02:07:42Z) - CMT in TREC-COVID Round 2: Mitigating the Generalization Gaps from Web
to Special Domain Search [89.48123965553098]
本稿では,特殊領域適応問題を緩和する探索システムを提案する。
このシステムは、ドメイン適応型事前学習と数発の学習技術を利用して、ニューラルネットワークがドメインの不一致を軽減するのに役立つ。
本システムでは,TREC-COVID タスクの第2ラウンドにおいて,非マニュアル実行において最善を尽くす。
論文 参考訳（メタデータ） (2020-11-03T09:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。