論文の概要: Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain

• arxiv url: http://arxiv.org/abs/2305.18324v1
• Date: Tue, 23 May 2023 03:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-04 11:31:27.599550
• Title: Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain
• Title（参考訳）: 事前学習された言語モデルに基づくレゲックス型ドメイン転送トピックの分類:金融ドメインへの応用
• Authors: Vanessa Liao, Syed Shariyar Murtaza, Yifan Nie, Jimmy Lin
• Abstract要約: 本稿では,微調整過程におけるドメイン知識の特徴として,正規表現パターンの利用について論じる。 実シナリオ生成データを用いた実験により,本手法が下流のテキスト分類タスクを改善することを示す。
• 参考スコア（独自算出の注目度）: 42.5087655999509
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: A common way to use large pre-trained language models for downstream tasks is to fine tune them using additional layers. This may not work well if downstream domain is a specialized domain whereas the large language model has been pre-trained on a generic corpus. In this paper, we discuss the use of regular expression patterns employed as features for domain knowledge during the process of fine tuning, in addition to domain specific text. Our experiments on real scenario production data show that this method of fine tuning improves the downstream text classification tasks as compared to fine tuning only on domain specific text. We also show that the use of attention network for fine tuning improves results compared to simple linear layers.
• Abstract（参考訳）: ダウンストリームタスクのために大きな事前学習された言語モデルを使う一般的な方法は、それらを追加のレイヤを使って微調整することです。 ダウンストリームドメインが専門ドメインであるのに対して、大きな言語モデルはジェネリックコーパスで事前トレーニングされているため、これはうまくいきません。 本稿では、ドメイン特化テキストに加えて、微調整のプロセスにおいて、ドメイン知識の特徴として使われる正規表現パターンの使用について論じる。 実シナリオ生成データを用いた実験により,本手法は,ドメイン固有のテキストのみを微調整するよりも,下流のテキスト分類タスクを改善することが示された。 また、注意ネットワークによる微調整により、単純な線形層に比べて結果が改善されることを示す。

関連論文リスト

• Improving Domain Adaptation through Extended-Text Reading Comprehension [108.24709810480654]
  最近の研究は、適応型パターンによってフォーマットされた理解データを読み取るモデルが、ドメイン固有のタスクのパフォーマンスを大幅に改善できることを実証している。 しかし、これらのパターンはドメイン固有の知識を用いて生のコーパスを解析することができない。 AdaptLLMと比較して、ドメイン固有のタスクで5%以上の改善を実現している。
  論文  参考訳（メタデータ） (2024-01-14T13:11:31Z)
• SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains [14.096170976149521]
  SwitchPromptは、汎用ドメインからさまざまな低リソースドメインへのデータセットでトレーニングされた言語モデルを適応するための、新しくて軽量なプロンプト手法である。 筆者らは,SwitchPromptを用いた場合の一般領域事前学習言語モデルの有効性を3つのテキスト分類ベンチマークで検証した。 彼らはしばしば、ベースライン・オブ・ザ・アーツ・プロンプト法で訓練されたドメイン固有の手法を最大10.7%の精度で上回っている。
  論文  参考訳（メタデータ） (2023-02-14T07:14:08Z)
• General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation [30.167332489528608]
  トレーニングキーフレーズ生成(KPG)モデルは、大量の注釈付きデータを必要とする。 KPGモデルの一般的な構文的特徴からドメイン関連セマンティクスへの学習焦点を徐々にガイドする3段階パイプラインを提案する。 実験結果から,提案手法は高品質なキーフレーズを新規ドメインで生成し,ドメイン内アノテートされた限られたデータに適応して一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-20T04:43:01Z)
• Task Transfer and Domain Adaptation for Zero-Shot Question Answering [18.188082154309175]
  我々は、ソースドメインデータに対する教師付き事前トレーニングを使用して、ドメイン固有の下流タスクにおけるサンプルの複雑さを減らします。 タスク転送とドメイン適応を組み合わせることで、ドメイン固有読解タスクのゼロショット性能を評価する。
  論文  参考訳（メタデータ） (2022-06-14T09:10:48Z)
• Efficient Hierarchical Domain Adaptation for Pretrained Language Models [77.02962815423658]
  生成言語モデルは、多種多様な一般的なドメインコーパスに基づいて訓練される。 計算効率のよいアダプタアプローチを用いて,ドメイン適応を多種多様なドメインに拡張する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T11:09:29Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
  自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:35:06Z)
• Unsupervised Domain Clusters in Pretrained Language Models [61.832234606157286]
  大規模事前学習型言語モデルでは,教師なしのドメインによってクラスタ化される文表現を暗黙的に学習する。 このようなモデルに基づくドメインデータ選択手法を提案する。 我々は5つの異なる領域にわたるニューラルネットワーク翻訳のためのデータ選択手法を評価する。
  論文  参考訳（メタデータ） (2020-04-05T06:22:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。