論文の概要: Pretrained Domain-Specific Language Model for General Information
Retrieval Tasks in the AEC Domain
- arxiv url: http://arxiv.org/abs/2203.04729v1
- Date: Wed, 9 Mar 2022 14:10:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-10 14:00:32.054479
- Title: Pretrained Domain-Specific Language Model for General Information
Retrieval Tasks in the AEC Domain
- Title(参考訳): AEC領域における一般情報検索作業のための事前訓練されたドメイン特化言語モデル
- Authors: Zhe Zheng, Xin-Zheng Lu, Ke-Yin Chen, Yu-Cheng Zhou, Jia-Rui Lin
- Abstract要約: 各種情報検索タスクにおいて,ドメインコーパスとドメイン固有の事前学習型DLモデルがどのように性能を向上させるかは明らかでない。
本研究は,ドメインコーパスと各種伝達学習技術がIRタスクのDLモデルの性能に与える影響について検討する。
BERTベースのモデルは、すべてのIRタスクにおいて従来の手法よりも劇的に優れ、F1スコアの最大5.4%と10.1%の改善があった。
- 参考スコア(独自算出の注目度): 5.949779668853556
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As an essential task for the architecture, engineering, and construction
(AEC) industry, information retrieval (IR) from unstructured textual data based
on natural language processing (NLP) is gaining increasing attention. Although
various deep learning (DL) models for IR tasks have been investigated in the
AEC domain, it is still unclear how domain corpora and domain-specific
pretrained DL models can improve performance in various IR tasks. To this end,
this work systematically explores the impacts of domain corpora and various
transfer learning techniques on the performance of DL models for IR tasks and
proposes a pretrained domain-specific language model for the AEC domain. First,
both in-domain and close-domain corpora are developed. Then, two types of
pretrained models, including traditional wording embedding models and
BERT-based models, are pretrained based on various domain corpora and transfer
learning strategies. Finally, several widely used DL models for IR tasks are
further trained and tested based on various configurations and pretrained
models. The result shows that domain corpora have opposite effects on
traditional word embedding models for text classification and named entity
recognition tasks but can further improve the performance of BERT-based models
in all tasks. Meanwhile, BERT-based models dramatically outperform traditional
methods in all IR tasks, with maximum improvements of 5.4% and 10.1% in the F1
score, respectively. This research contributes to the body of knowledge in two
ways: 1) demonstrating the advantages of domain corpora and pretrained DL
models and 2) opening the first domain-specific dataset and pretrained language
model for the AEC domain, to the best of our knowledge. Thus, this work sheds
light on the adoption and application of pretrained models in the AEC domain.
- Abstract(参考訳): アーキテクチャ,エンジニアリング,建設(AEC)産業にとって重要な課題として,自然言語処理(NLP)に基づく非構造化テキストデータからの情報検索(IR)が注目されている。
各種IRタスクの深層学習(DL)モデルがAECドメインで研究されているが、ドメインコーパスとドメイン固有の事前訓練されたDLモデルによって、様々なIRタスクのパフォーマンスが向上するかどうかは不明である。
そこで本研究では,ドメインコーパスと様々な転送学習技術がIRタスクのDLモデルの性能に与える影響を体系的に検討し,AECドメインのための事前訓練されたドメイン固有言語モデルを提案する。
まず、ドメイン内コーパスと近接ドメインコーパスの両方を開発する。
次に,従来の単語埋め込みモデルとBERTモデルを含む2種類の事前学習モデルを,様々なドメインコーパスと伝達学習戦略に基づいて事前学習する。
最後に、IRタスクに広く使われているいくつかのDLモデルは、様々な構成と事前訓練されたモデルに基づいてさらに訓練され、テストされる。
その結果、ドメインコーパスは、テキスト分類や名前付きエンティティ認識タスクに対する従来の単語埋め込みモデルと相反する効果を持つが、全てのタスクにおけるbertベースのモデルのパフォーマンスをさらに向上させることができる。
一方、BERTベースのモデルは全てのIRタスクにおいて従来の手法を劇的に上回り、それぞれF1スコアの最大5.4%と10.1%の改善があった。
この研究は、知識の身体に2つの方法で貢献する。
1)ドメインコーパスと事前学習DLモデルの利点の証明
2) AECドメインのための最初のドメイン固有のデータセットと事前訓練済み言語モデルを、私たちの知識の最大限に活用する。
このように、この研究は、AECドメインで事前訓練されたモデルの採用と適用に光を当てています。
関連論文リスト
- Leveraging Domain Relations for Domain Generalization [77.75140035123063]
D3Gは異なるドメイン間の関係を利用してドメイン固有のモデルを学ぶ。
D3Gは, 平均10.6%の性能向上を図りながら, 常に最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2023-02-06T08:11:16Z) - A Unified Knowledge Graph Augmentation Service for Boosting
Domain-specific NLP Tasks [10.28161912127425]
本稿では,ドメイン知識グラフを用いたタスク固有のトレーニング手順を強化するために,統合されたドメイン言語モデル開発サービスであるKnowledgeDAを提案する。
我々は、医療とソフトウェア開発という2つの分野の言語モデルを学ぶために、KnowledgeDAのプロトタイプを実装します。
論文 参考訳(メタデータ) (2022-12-10T09:18:43Z) - QAGAN: Adversarial Approach To Learning Domain Invariant Language
Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。
EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文 参考訳(メタデータ) (2022-06-24T17:42:18Z) - TAL: Two-stream Adaptive Learning for Generalizable Person
Re-identification [115.31432027711202]
我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。
これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。
我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
論文 参考訳(メタデータ) (2021-11-29T01:27:42Z) - Efficient Domain Adaptation of Language Models via Adaptive Tokenization [5.058301279065432]
ドメイン固有のサブワードシーケンスは,ベースおよびドメイン固有のコーパスの条件付きトークン分布の分岐から,直接的に決定可能であることを示す。
我々の手法は、トークン化器の強化を用いた他の手法よりも、より小さなモデルで、トレーニングや推論の時間が少なくなります。
論文 参考訳(メタデータ) (2021-09-15T17:51:27Z) - Adapt-and-Distill: Developing Small, Fast and Effective Pretrained
Language Models for Domains [45.07506437436464]
本稿では、特定のドメインに対して、小型で高速かつ効果的に事前訓練されたモデルを開発するための一般的なアプローチを提案する。
これは、既成の一般訓練モデルに適応し、ターゲットドメインでタスク非依存の知識蒸留を行うことによって達成される。
論文 参考訳(メタデータ) (2021-06-25T07:37:05Z) - Source-Free Open Compound Domain Adaptation in Semantic Segmentation [99.82890571842603]
SF-OCDAでは、ターゲットモデルを学習するために、ソース事前訓練されたモデルとターゲットデータのみが利用可能である。
そこで我々は,Cross-Patch Style Swap (CPSS)を提案する。
提案手法は,C-Drivingデータセット上で最先端の結果を生成する。
論文 参考訳(メタデータ) (2021-06-07T08:38:41Z) - BENDR: using transformers and a contrastive self-supervised learning
task to learn from massive amounts of EEG data [15.71234837305808]
言語モデリング(LM)の手法とアーキテクチャを脳波モデリング(EM)に適用する方法を検討する。
1つの事前学習モデルが、異なるハードウェアで記録された全く新しい生の脳波シーケンスをモデル化できることがわかった。
このモデルの内部表現とアーキテクチャ全体は、さまざまな下流のBCIおよびEEG分類タスクに微調整することができる。
論文 参考訳(メタデータ) (2021-01-28T14:54:01Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-12-29T08:58:49Z) - DomBERT: Domain-oriented Language Model for Aspect-based Sentiment
Analysis [71.40586258509394]
本研究では、ドメイン内コーパスと関連するドメインコーパスの両方から学習するためのBERTの拡張であるDomBERTを提案する。
アスペクトベース感情分析における課題の整理実験を行い、有望な結果を示す。
論文 参考訳(メタデータ) (2020-04-28T21:07:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。