論文の概要: Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models

• arxiv url: http://arxiv.org/abs/2403.02756v1
• Date: Tue, 5 Mar 2024 08:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 15:39:48.889952
• Title: Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models
• Title（参考訳）: 大規模言語モデルのための汎用能力保存型ロールプロンプティングガイド付きドメイン適応
• Authors: Rui Wang, Fei Mi, Yi Chen, Boyang Xue, Hongru Wang, Qi Zhu, Kam-Fai Wong, Ruifeng Xu
• Abstract要約: 特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
• 参考スコア（独自算出の注目度）: 55.51408151807268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing interest in Large Language Models (LLMs) for specialized applications has revealed a significant challenge: when tailored to specific domains, LLMs tend to experience catastrophic forgetting, compromising their general capabilities and leading to a suboptimal user experience. Additionally, crafting a versatile model for multiple domains simultaneously often results in a decline in overall performance due to confusion between domains. In response to these issues, we present the RolE Prompting Guided Multi-Domain Adaptation (REGA) strategy. This novel approach effectively manages multi-domain LLM adaptation through three key components: 1) Self-Distillation constructs and replays general-domain exemplars to alleviate catastrophic forgetting. 2) Role Prompting assigns a central prompt to the general domain and a unique role prompt to each specific domain to minimize inter-domain confusion during training. 3) Role Integration reuses and integrates a small portion of domain-specific data to the general-domain data, which are trained under the guidance of the central prompt. The central prompt is used for a streamlined inference process, removing the necessity to switch prompts for different domains. Empirical results demonstrate that REGA effectively alleviates catastrophic forgetting and inter-domain confusion. This leads to improved domain-specific performance compared to standard fine-tuned models, while still preserving robust general capabilities.
• Abstract（参考訳）: 特定のドメインに合わせると、LLMは破滅的な忘れを経験し、一般的な能力を妥協し、最適なユーザエクスペリエンスをもたらす傾向があります。 さらに、複数のドメインに対する汎用モデルを同時に作成することで、ドメイン間の混乱によって全体的なパフォーマンスが低下することが多い。 これらの問題に対応するため、RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。 この新しいアプローチは、3つのキーコンポーネントを通してマルチドメインLLM適応を効果的に管理する。 1) 自己蒸留は, 壊滅的な忘れを緩和するために, 一般ドメインの例題を構成, 再生する。 2) ロールプロンプトは、一般的なドメインに中央プロンプトを割り当て、各ドメインにユニークなロールプロンプトを割り当てて、トレーニング中のドメイン間混乱を最小限にする。 3) ロール統合 ドメイン固有のデータのごく一部を、中央プロンプトの指導の下でトレーニングされた一般ドメインデータに再利用し、統合する。 中央プロンプトは合理化された推論プロセスに使用され、異なるドメインのプロンプトを切り替える必要がなくなる。 実験の結果、REGAは破滅的な忘れとドメイン間の混乱を効果的に軽減することが示された。 これにより、標準の微調整モデルよりもドメイン固有のパフォーマンスが向上すると同時に、堅牢な汎用性も維持できる。

関連論文リスト

• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• Large-Scale Multi-Domain Recommendation: an Automatic Domain Feature Extraction and Personalized Integration Framework [30.46152832695426]
  大規模マルチドメインレコメンデーションのための自動ドメイン特徴抽出とパーソナライズド統合(DFEI)フレームワークを提案する。 このフレームワークは個々のユーザの振る舞いを自動的にドメイン内のすべてのユーザの振る舞いの集約に変換し、ドメインの機能として機能します。 20以上のドメインからなるパブリックデータセットと産業データセットの実験結果から,提案フレームワークがSOTAベースラインと比較して大幅に性能が向上していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-12T09:57:17Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Domain Generalization for Domain-Linked Classes [8.738092015092207]
  実世界では、クラスはドメインリンクされ、すなわち特定のドメインでのみ表現される。 本稿では,ドメインリンクDG,FONDのためのFair and cONtrastive feature-space regularizationアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:39:50Z)
• Domain generalization Person Re-identification on Attention-aware multi-operation strategery [8.90472129039969]
  ドメイン一般化者再識別(DG Re-ID)は、ソースドメイン上でトレーニングされたモデルを、十分に一般化された未確認対象ドメインに直接デプロイすることを目的としている。 既存のDG Re-ID法では、不変演算は領域一般化特徴の抽出に有効である。 DG Re-IDのための注意型マルチオペレーティングストラテジ(AMS)を提案し,より一般化された特徴を抽出した。
  論文  参考訳（メタデータ） (2022-10-19T09:18:46Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。