論文の概要: Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation
- arxiv url: http://arxiv.org/abs/2404.02335v1
- Date: Tue, 2 Apr 2024 22:15:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:09:09.820512
- Title: Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation
- Title（参考訳）: Multi-BERT:低リソースマルチドメイン適応のためのレバレッジアダプタとプロンプトチューニング
- Authors: Parham Abed Azad, Hamid Beigy,
- Abstract要約: テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。
従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。
本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 14.211024633768986
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid expansion of texts' volume and diversity presents formidable challenges in multi-domain settings. These challenges are also visible in the Persian name entity recognition (NER) settings. Traditional approaches, either employing a unified model for multiple domains or individual models for each domain, frequently pose significant limitations. Single models often struggle to capture the nuances of diverse domains, while utilizing multiple large models can lead to resource constraints, rendering the training of a model for each domain virtually impractical. Therefore, this paper introduces a novel approach composed of one core model with multiple sets of domain-specific parameters. We utilize techniques such as prompt tuning and adapters, combined with the incorporation of additional layers, to add parameters that we can train for the specific domains. This enables the model to perform comparably to individual models for each domain. Experimental results on different formal and informal datasets show that by employing these added parameters, the proposed model significantly surpasses existing practical models in performance. Remarkably, the proposed model requires only one instance for training and storage, yet achieves outstanding results across all domains, even surpassing the state-of-the-art in some. Moreover, we analyze each adaptation strategy, delineating its strengths, weaknesses, and optimal hyper-parameters for the Persian NER settings. Finally, we introduce a document-based domain detection pipeline tailored for scenarios with unknown text domains, enhancing the adaptability and practicality of this paper in real-world applications.
- Abstract（参考訳）: テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。
これらの課題は、ペルシャ名のエンティティ認識(NER)設定でも見ることができる。
従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。
単一モデルは多種多様なドメインのニュアンスを捉えるのに苦労するが、複数の大きなモデルを利用することでリソースの制約が生じ、各ドメインに対するモデルのトレーニングは事実上非現実的になる。
そこで本研究では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
我々は、プロンプトチューニングやアダプタなどのテクニックと追加レイヤの組み込みを組み合わせることで、特定のドメインのためにトレーニングできるパラメータを追加する。
これにより、モデルは各ドメインの個々のモデルに対してコンパラブルに実行できる。
実験結果から,これらの追加パラメータを用いることで,提案モデルが既存の実用モデルを大幅に上回る結果が得られた。
注目すべきなのは、トレーニングとストレージに1つのインスタンスしか必要としないことだ。
さらに、ペルシャのNER設定に対して、それぞれの適応戦略を分析し、その強み、弱み、最適ハイパーパラメータを規定する。
最後に、未知のテキスト領域を持つシナリオに適した文書ベースのドメイン検出パイプラインを導入し、実世界のアプリケーションにおける本論文の適応性と実用性を向上させる。
関連論文リスト
- Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
テキスト分類の多元的領域一般化について検討する。
本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-20T07:46:21Z) - FDS: Feedback-guided Domain Synthesis with Multi-Source Conditional Diffusion Models for Domain Generalization [19.0284321951354]
ドメイン一般化技術は、トレーニング中に新しいデータ分布をシミュレートすることで、モデルロバスト性を高めることを目的としている。
本稿では、拡散モデルを用いて新しい擬似ドメインを合成するFDS、フィードバック誘導ドメイン合成法を提案する。
本手法は, 領域一般化性能のベンチマークを, 様々な課題のあるデータセットに分けて設定することを示す。
論文 参考訳（メタデータ） (2024-07-04T02:45:29Z) - Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。
これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
論文 参考訳（メタデータ） (2024-04-10T16:44:11Z) - Multi-Domain Learning with Modulation Adapters [33.54630534228469]
マルチドメイン学習は、複数のドメインにまたがる画像分類など、関連するタスクを同時に処理することを目的としている。
変調アダプタは、各タスクに対して乗法的にモデルの畳み込み重みを更新する。
我々のアプローチは、既存の最先端のアプローチと同等かそれ以上の精度で、優れた結果をもたらす。
論文 参考訳（メタデータ） (2023-07-17T14:40:16Z) - Exploring Distributional Shifts in Large Language Models for Code
Analysis [36.73114441988879]
コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。
コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。
複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
論文 参考訳（メタデータ） (2023-03-16T07:45:46Z) - AdaptDHM: Adaptive Distribution Hierarchical Model for Multi-Domain CTR
Prediction [4.299153274884263]
本稿では,適応分布階層モデル (Adaptive Distribution Hierarchical Model, AdaptDHM) という,エレガントで柔軟なマルチディストリビューション・モデリング手法を提案する。
本モデルでは, 予測精度が向上し, トレーニング期間中の時間コストは, 他のモデルに比べて50%以上低下する。
論文 参考訳（メタデータ） (2022-11-22T09:10:37Z) - A Novel Mix-normalization Method for Generalizable Multi-source Person
Re-identification [49.548815417844786]
人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。
モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。
ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
論文 参考訳（メタデータ） (2022-01-24T18:09:38Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳（メタデータ） (2021-11-29T01:27:42Z) - Multi-path Neural Networks for On-device Multi-domain Visual
Classification [55.281139434736254]
本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。
提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。
決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
論文 参考訳（メタデータ） (2020-10-10T05:13:49Z) - Not all domains are equally complex: Adaptive Multi-Domain Learning [98.25886129591974]
深層ニューラルネットワークを用いた多分野学習のための適応パラメータ化手法を提案する。
提案手法は,パラメータ数をはるかに削減しながら,元の手法と同等に動作する。
論文 参考訳（メタデータ） (2020-03-25T17:16:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。