論文の概要: Improving Domain Adaptation through Extended-Text Reading Comprehension

• arxiv url: http://arxiv.org/abs/2401.07284v2
• Date: Thu, 18 Jan 2024 11:29:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 13:28:11.929755
• Title: Improving Domain Adaptation through Extended-Text Reading Comprehension
• Title（参考訳）: 拡張テキスト読解によるドメイン適応の改善
• Authors: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang
• Abstract要約: 最近の研究は、適応型パターンによってフォーマットされた理解データを読み取るモデルが、ドメイン固有のタスクのパフォーマンスを大幅に改善できることを実証している。 しかし、これらのパターンはドメイン固有の知識を用いて生のコーパスを解析することができない。 AdaptLLMと比較して、ドメイン固有のタスクで5%以上の改善を実現している。
• 参考スコア（独自算出の注目度）: 108.24709810480654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enhance the domain-specific capabilities of large language models, continued pre-training on a domain-specific corpus is a prevalent method. Recent work demonstrates that adapting models using reading comprehension data formatted by regex-based patterns can significantly improve performance on domain-specific tasks. However, regex-based patterns are incapable of parsing raw corpora using domain-specific knowledge. Furthermore, the question and answer pairs are extracted directly from the corpus in predefined formats offers limited context. To address this limitation, we improve reading comprehension via LLM and clustering. LLM focuses on leveraging domain knowledge within the corpus to refine comprehension stage, while clustering supplies relevant knowledge by extending the context to enrich reading stage. Additionally, our method incorporates parameter-efficient fine-tuning to improve the efficiency of domain adaptation. In comparison to AdaptLLM, our method achieves an improvement exceeding 5% in domain-specific tasks. Our code will available at https://github.com/microsoft/LMOps.
• Abstract（参考訳）: 大規模言語モデルのドメイン特化能力を高めるため、ドメイン特化コーパスでの事前学習が一般的である。 最近の研究は、Regexベースのパターンでフォーマットされた読解データを用いてモデルを適用することで、ドメイン固有のタスクのパフォーマンスが大幅に向上することを示した。 しかし、regexベースのパターンはドメイン固有の知識を使って生のコーパスを解析できない。 さらに、質問と回答のペアは、事前に定義された形式でコーパスから直接抽出され、コンテキストが限定される。 この制限に対処するため,LLMとクラスタリングによる読解理解を改善した。 LLMは、理解段階を洗練させるためにコーパス内のドメイン知識を活用することに焦点を当て、クラスタリングは、コンテキストを読書段階に拡張することで関連する知識を提供する。 さらに,パラメータ効率の高い微調整を取り入れ,ドメイン適応の効率化を図る。 AdaptLLMと比較して、ドメイン固有のタスクで5%以上の改善を実現している。 私たちのコードはhttps://github.com/microsoft/LMOpsで公開されます。

関連論文リスト

• AdaptEval: Evaluating Large Language Models on Domain Adaptation for Text Summarization [4.07484910093752]
  本研究では,多言語モデル(LLM)のドメイン適応能力について,各ドメイン間の要約タスクで評価する。 本稿では、最初のドメイン適応評価スイートであるAdaptEvalを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T10:50:39Z)
• Cross-domain Chinese Sentence Pattern Parsing [67.1381983012038]
  文パターン構造解析(SPS)は、主に言語教育に使用される構文解析法である。 既存のSPSは教科書のコーパスに大きく依存しており、クロスドメイン機能に欠ける。 本稿では,大規模言語モデル(LLM)を自己学習フレームワーク内で活用する革新的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T05:30:48Z)
• Leveraging Code to Improve In-context Learning for Semantic Parsing [48.66031267718704]
  In-context Learning (ICL) は、その少数ショットの性質と一般化の改善により、意味解析に魅力的なアプローチである。 我々は,(1)DSLの代わりにPythonなどの汎用プログラミング言語を用いた意味解析におけるICLの有効性を向上し,(2)ドメイン記述を構造化したプロンプトを増強する。
  論文  参考訳（メタデータ） (2023-11-16T02:50:06Z)
• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain [42.5087655999509]
  本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
  論文  参考訳（メタデータ） (2023-05-23T03:26:32Z)
• VarMAE: Pre-training of Variational Masked Autoencoder for Domain-adaptive Language Understanding [5.1282202633907]
  本稿では,ドメイン適応型言語理解のためのトランスフォーマーベース言語モデルであるVarMAEを提案する。 マスク付き自動符号化の目的のもと,トークンのコンテキストをスムーズな潜伏分布に符号化するコンテキスト不確実性学習モジュールを設計する。 科学および金融分野におけるNLUタスクの実験は、VarMAEが限られたリソースを持つ新しいドメインに効率的に適応できることを実証している。
  論文  参考訳（メタデータ） (2022-11-01T12:51:51Z)
• Meta-Learning for Domain Generalization in Semantic Parsing [124.32975734073949]
  セマンティック解析のためにゼロショットドメインをターゲットにしたメタラーニングフレームワークを使用する。 ゼロショット解析の仮想トレインと非結合領域からのテストセットをシミュレートするモデル非依存のトレーニングアルゴリズムを適用した。
  論文  参考訳（メタデータ） (2020-10-22T19:00:36Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。