論文の概要: Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment

• arxiv url: http://arxiv.org/abs/2407.10804v1
• Date: Mon, 15 Jul 2024 15:20:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:39:57.510942
• Title: Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment
• Title（参考訳）: Mix-CPT:知識学習とフォーマットアライメントの分離によるドメイン適応フレームワーク
• Authors: Jinhao Jiang, Junyi Li, Wayne Xin Zhao, Yang Song, Tao Zhang, Ji-Rong Wen,
• Abstract要約: 汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。 そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。 提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
• 参考スコア（独自算出の注目度）: 120.06538000214552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting general large language models (LLMs) to specialized domains presents great challenges due to varied data distributions. This adaptation typically requires continual pre-training on massive domain-specific corpora to facilitate knowledge memorization, followed by training to apply this knowledge following human instructions and preferences. However, this method may result in inefficient knowledge memorization due to a lack of awareness of knowledge utilization and imposes substantial demands on LLMs to simultaneously learn knowledge utilization and format alignment with limited training samples. To facilitate the domain adaptation of LLM, we revise this process and propose a new domain adaptation framework including domain knowledge learning and general format alignment, called Mix-CPT. Specifically, we first conduct a knowledge mixture continual pre-training that concurrently focuses on knowledge memorization and utilization, allowing for mutual reinforcement. To avoid catastrophic forgetting during the continual pre-training process, we further incorporate a logit swap self-distillation constraint. Subsequently, leveraging the knowledge and capabilities acquired during continual pre-training, we efficiently perform instruction tuning and alignment with a few general training samples to achieve format alignment. Extensive experiments demonstrate that our proposed Mix-CPT framework can simultaneously improve the task-solving capabilities of LLMs on the target and general domains compared to the traditional adaptation methods.
• Abstract（参考訳）: 汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。 この適応は通常、知識記憶を促進するために、巨大なドメイン固有のコーパスで連続的な事前学習を必要とし、続いて、人間の指示や好みに従ってこの知識を適用する訓練を行う。 しかし,この手法は知識利用意識の欠如による知識記憶の効率の低下を招き,知識利用の同時学習と限られたトレーニングサンプルとのフォーマットアライメントをLCMにかなり要求する。 LLMのドメイン適応を容易にするため、このプロセスを改訂し、ドメイン知識学習とMix-CPTと呼ばれる汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。 具体的には、まず、知識の記憶と利用を同時に重視し、相互強化を可能にする知識混合事前学習を行う。 継続事前学習過程における破滅的忘れを避けるため,ロジットスワップ自己蒸留制約を更に取り入れた。 その後、継続事前学習中に得られた知識と能力を活用して、いくつかの一般的なトレーニングサンプルとの指導調整とアライメントを効率的に行い、フォーマットアライメントを実現する。 提案したMix-CPTフレームワークは,従来の適応手法と比較して,目標領域と一般領域におけるLLMのタスク解決能力を同時に向上できることを示す。

関連論文リスト

• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Personalized Federated Continual Learning via Multi-granularity Prompt [33.84680453375976]
  一般化表現をパーソナライズするために,多粒性プロンプト,すなわち粗粒大大域的プロンプトと細粒局所プロンプトという新しい概念を提案する。 粗粒度知識の排他的融合により、クライアント間の共通知識の伝達と洗練を実現し、パーソナライズの性能をさらに向上する。
  論文  参考訳（メタデータ） (2024-06-27T13:41:37Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Editing for Large Language Models: A Survey [51.01368551235289]
  大規模言語モデル(LLM)の大きな欠点の1つは、事前学習に要する計算コストである。 知識に基づくモデル編集(KME)が注目を集めており、特定の知識を組み込むためにLLMを正確に修正することを目的としている。
  論文  参考訳（メタデータ） (2023-10-24T22:18:13Z)
• Adapting a Language Model While Preserving its General Knowledge [22.083108548675494]
  ドメイン適応型事前訓練(または略してDAトレーニング)は、特定のドメインのラベルなしコーパスを使用して訓練済み汎用言語モデル(LM)を訓練することを目的としている。 既存のDAトレーニングメソッドは、LMのどの知識を保存すべきか、ドメインコーパスによって何が変更されるべきなのかを明確に定義していないため、何らかの意味で盲目である。 本稿では,既存の手法が最適以下であることを示し,LMにおける知識のより深い適応を行うための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-01-21T17:57:53Z)
• Prior Knowledge Guided Unsupervised Domain Adaptation [82.9977759320565]
  本稿では,対象とするクラス分布に関する事前知識を利用できる知識誘導型非教師付きドメイン適応(KUDA)設定を提案する。 特に,対象領域におけるクラス分布に関する2種類の事前知識について考察する。 このような事前知識を用いて生成した擬似ラベルを精査する修正モジュールを提案する。
  論文  参考訳（メタデータ） (2022-07-18T18:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。