論文の概要: NukeLM: Pre-Trained and Fine-Tuned Language Models for the Nuclear and Energy Domains

• arxiv url: http://arxiv.org/abs/2105.12192v1
• Date: Tue, 25 May 2021 20:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 13:33:24.957736
• Title: NukeLM: Pre-Trained and Fine-Tuned Language Models for the Nuclear and Energy Domains
• Title（参考訳）: NukeLM:原子力・エネルギー分野のための事前訓練および微調整言語モデル
• Authors: Lee Burke, Karl Pazdernik, Daniel Fortin, Benjamin Wilson, Rustam Goychayev, and John Mattingly
• Abstract要約: BERTアーキテクチャは、モデルがドメイン関連テキストを使用して事前トレーニングされたときに、ドメイン固有のタスクに対してさらに優れたパフォーマンスを示す。 NukeLMは、米国エネルギー省科学技術情報データベースから150万件の抽象化を事前訓練した核ドメイン言語モデルである。 細調整前におけるBERTスタイルアーキテクチャの事前学習は,両項目の分類作業において高い性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language processing (NLP) tasks (text classification, named entity recognition, etc.) have seen revolutionary improvements over the last few years. This is due to language models such as BERT that achieve deep knowledge transfer by using a large pre-trained model, then fine-tuning the model on specific tasks. The BERT architecture has shown even better performance on domain-specific tasks when the model is pre-trained using domain-relevant texts. Inspired by these recent advancements, we have developed NukeLM, a nuclear-domain language model pre-trained on 1.5 million abstracts from the U.S. Department of Energy Office of Scientific and Technical Information (OSTI) database. This NukeLM model is then fine-tuned for the classification of research articles into either binary classes (related to the nuclear fuel cycle [NFC] or not) or multiple categories related to the subject of the article. We show that continued pre-training of a BERT-style architecture prior to fine-tuning yields greater performance on both article classification tasks. This information is critical for properly triaging manuscripts, a necessary task for better understanding citation networks that publish in the nuclear space, and for uncovering new areas of research in the nuclear (or nuclear-relevant) domains.
• Abstract（参考訳）: 自然言語処理(nlp)タスク(テキスト分類、名前付きエンティティ認識など) ここ数年で革命的な改善がありました これはbertのような言語モデルによるもので、大きな事前学習されたモデルを使って深い知識の伝達を実現し、特定のタスクでモデルを微調整する。 BERTアーキテクチャは、モデルがドメイン関連テキストを使用して事前トレーニングされたときに、ドメイン固有のタスクに対してさらに優れたパフォーマンスを示す。 これらの最近の進歩に触発されて、我々は米国エネルギー省科学技術情報局(OSTI)データベースから150万の抽象化を事前訓練した核ドメイン言語モデルであるNukeLMを開発した。 このnukelmモデルは、研究論文をバイナリクラス(核燃料サイクル [nfc] に関連するものか否か)または論文の主題に関する複数のカテゴリに分類するために微調整される。 細調整前のBERTスタイルアーキテクチャの事前学習は,両項目の分類作業において高い性能を示すことを示す。 この情報は、核空間で出版される引用ネットワークの理解を深め、核(または核関連)領域における新しい研究領域を明らかにするために必要なタスクである原稿を適切にトリアージするために重要である。

関連論文リスト

• Foundation Models for Natural Language Processing -- Pre-trained Language Models Integrating Media [0.0]
  ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。 画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。 本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
  論文  参考訳（メタデータ） (2023-02-16T20:42:04Z)
• Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
  我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。 最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。 第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
  論文  参考訳（メタデータ） (2022-07-30T14:34:55Z)
• DSGPT: Domain-Specific Generative Pre-Training of Transformers for Text Generation in E-commerce Title and Review Summarization [14.414693156937782]
  テキスト生成のための新しいドメイン固有生成事前学習法(DS-GPT)を提案する。 電子商取引モバイルディスプレイにおける製品タイトルと要約問題に応用する。
  論文  参考訳（メタデータ） (2021-12-15T19:02:49Z)
• Dynamic Language Models for Continuously Evolving Content [19.42658043326054]
  近年、BERTのような事前訓練された言語モデルは、コンテンツ理解タスクの最先端性を大幅に改善した。 本稿では,これらの言語モデルをウェブコンテンツの継続的な進化に適応させる方法について検討する。
  論文  参考訳（メタデータ） (2021-06-11T10:33:50Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)
• KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
  知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。 我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。 ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
  論文  参考訳（メタデータ） (2020-10-05T19:59:05Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• SPECTER: Document-level Representation Learning using Citation-informed Transformers [51.048515757909215]
  SPECTERは、Transformer言語モデルの事前学習に基づいて、科学文書の文書レベルの埋め込みを生成する。 SciDocsは、引用予測から文書分類、レコメンデーションまでの7つの文書レベルのタスクからなる新しい評価ベンチマークである。
  論文  参考訳（メタデータ） (2020-04-15T16:05:51Z)
• NukeBERT: A Pre-trained language model for Low Resource Nuclear Domain [15.831633922457973]
  核エネルギーと原子エネルギーは、注釈のないデータを利用する際には未発見のままである。 7000の核ドメインに関する研究論文から新しいデータセットが作成された。 NukeBERT は BERT 語彙を学習データが少ないタスクに適合させる新しい技法を取り入れたものである。
  論文  参考訳（メタデータ） (2020-03-30T21:10:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。