論文の概要: Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain

• arxiv url: http://arxiv.org/abs/2203.04729v1
• Date: Wed, 9 Mar 2022 14:10:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 14:00:32.054479
• Title: Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain
• Title（参考訳）: AEC領域における一般情報検索作業のための事前訓練されたドメイン特化言語モデル
• Authors: Zhe Zheng, Xin-Zheng Lu, Ke-Yin Chen, Yu-Cheng Zhou, Jia-Rui Lin
• Abstract要約: 各種情報検索タスクにおいて,ドメインコーパスとドメイン固有の事前学習型DLモデルがどのように性能を向上させるかは明らかでない。 本研究は,ドメインコーパスと各種伝達学習技術がIRタスクのDLモデルの性能に与える影響について検討する。 BERTベースのモデルは、すべてのIRタスクにおいて従来の手法よりも劇的に優れ、F1スコアの最大5.4%と10.1%の改善があった。
• 参考スコア（独自算出の注目度）: 5.949779668853556
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As an essential task for the architecture, engineering, and construction (AEC) industry, information retrieval (IR) from unstructured textual data based on natural language processing (NLP) is gaining increasing attention. Although various deep learning (DL) models for IR tasks have been investigated in the AEC domain, it is still unclear how domain corpora and domain-specific pretrained DL models can improve performance in various IR tasks. To this end, this work systematically explores the impacts of domain corpora and various transfer learning techniques on the performance of DL models for IR tasks and proposes a pretrained domain-specific language model for the AEC domain. First, both in-domain and close-domain corpora are developed. Then, two types of pretrained models, including traditional wording embedding models and BERT-based models, are pretrained based on various domain corpora and transfer learning strategies. Finally, several widely used DL models for IR tasks are further trained and tested based on various configurations and pretrained models. The result shows that domain corpora have opposite effects on traditional word embedding models for text classification and named entity recognition tasks but can further improve the performance of BERT-based models in all tasks. Meanwhile, BERT-based models dramatically outperform traditional methods in all IR tasks, with maximum improvements of 5.4% and 10.1% in the F1 score, respectively. This research contributes to the body of knowledge in two ways: 1) demonstrating the advantages of domain corpora and pretrained DL models and 2) opening the first domain-specific dataset and pretrained language model for the AEC domain, to the best of our knowledge. Thus, this work sheds light on the adoption and application of pretrained models in the AEC domain.
• Abstract（参考訳）: アーキテクチャ,エンジニアリング,建設(AEC)産業にとって重要な課題として,自然言語処理(NLP)に基づく非構造化テキストデータからの情報検索(IR)が注目されている。 各種IRタスクの深層学習(DL)モデルがAECドメインで研究されているが、ドメインコーパスとドメイン固有の事前訓練されたDLモデルによって、様々なIRタスクのパフォーマンスが向上するかどうかは不明である。 そこで本研究では,ドメインコーパスと様々な転送学習技術がIRタスクのDLモデルの性能に与える影響を体系的に検討し,AECドメインのための事前訓練されたドメイン固有言語モデルを提案する。 まず、ドメイン内コーパスと近接ドメインコーパスの両方を開発する。 次に,従来の単語埋め込みモデルとBERTモデルを含む2種類の事前学習モデルを,様々なドメインコーパスと伝達学習戦略に基づいて事前学習する。 最後に、IRタスクに広く使われているいくつかのDLモデルは、様々な構成と事前訓練されたモデルに基づいてさらに訓練され、テストされる。 その結果、ドメインコーパスは、テキスト分類や名前付きエンティティ認識タスクに対する従来の単語埋め込みモデルと相反する効果を持つが、全てのタスクにおけるbertベースのモデルのパフォーマンスをさらに向上させることができる。 一方、BERTベースのモデルは全てのIRタスクにおいて従来の手法を劇的に上回り、それぞれF1スコアの最大5.4%と10.1%の改善があった。 この研究は、知識の身体に2つの方法で貢献する。 1)ドメインコーパスと事前学習DLモデルの利点の証明 2) AECドメインのための最初のドメイン固有のデータセットと事前訓練済み言語モデルを、私たちの知識の最大限に活用する。 このように、この研究は、AECドメインで事前訓練されたモデルの採用と適用に光を当てています。

関連論文リスト

• Improving Few-Shot Cross-Domain Named Entity Recognition by Instruction Tuning a Word-Embedding based Retrieval Augmented Large Language Model [0.0]
  Few-Shot Cross-Domain NERは、データ豊富なソースドメインからの知識を活用して、データ不足のターゲットドメイン上でエンティティ認識を実行するプロセスである。 名前付きエンティティ認識のための検索拡張大言語モデルIF-WRANERを提案する。
  論文  参考訳（メタデータ） (2024-11-01T08:57:29Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Boosting Large Language Models with Continual Learning for Aspect-based Sentiment Analysis [33.86086075084374]
  アスペクトベース感情分析(ABSA)は感情分析の重要なサブタスクである。 ABSAのための大規模言語モデルに基づく連続学習(textttLLM-CL)モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-09T02:00:07Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
  ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。 我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
  論文  参考訳（メタデータ） (2021-09-15T17:51:27Z)
• Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains [45.07506437436464]
  本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。 これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
  論文  参考訳（メタデータ） (2021-06-25T07:37:05Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• DomBERT: Domain-oriented Language Model for Aspect-based Sentiment Analysis [71.40586258509394]
  本研究では、ドメイン内コーパスと関連するドメインコーパスの両方から学習するためのBERTの拡張であるDomBERTを提案する。 アスペクトベース感情分析における課題の整理実験を行い、有望な結果を示す。
  論文  参考訳（メタデータ） (2020-04-28T21:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。