論文の概要: Exploring the Benefits of Domain-Pretraining of Generative Large Language Models for Chemistry

• arxiv url: http://arxiv.org/abs/2411.03542v1
• Date: Tue, 05 Nov 2024 22:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:24:44.957840
• Title: Exploring the Benefits of Domain-Pretraining of Generative Large Language Models for Chemistry
• Title（参考訳）: 化学のための生成型大規模言語モデルのドメイン事前学習の利点を探る
• Authors: Anurag Acharya, Shivam Sharma, Robin Cosbey, Megha Subramanian, Scott Howland, Maria Glenski,
• Abstract要約: 我々は、科学分野におけるオフ・ザ・シェルフとより標的となる基礎モデルを活用することのトレードオフについて検討する。 本研究は, ある科学領域, 化学領域に対するドメイン内事前学習の利点を考察し, ゼロショットおよび少数ショットプロンプトを用いたオープンソースオフザシェルフモデルと比較する。 その結果、ドメイン内ベースモデルではゼロショット設定でドメイン内タスクを合理的に実行することができるだけでなく、命令の微調整によるさらなる適応は、化学固有のタスクに顕著なパフォーマンスをもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 5.4665365335928024
• License:
• Abstract: A proliferation of Large Language Models (the GPT series, BLOOM, LLaMA, and more) are driving forward novel development of multipurpose AI for a variety of tasks, particularly natural language processing (NLP) tasks. These models demonstrate strong performance on a range of tasks; however, there has been evidence of brittleness when applied to more niche or narrow domains where hallucinations or fluent but incorrect responses reduce performance. Given the complex nature of scientific domains, it is prudent to investigate the trade-offs of leveraging off-the-shelf versus more targeted foundation models for scientific domains. In this work, we examine the benefits of in-domain pre-training for a given scientific domain, chemistry, and compare these to open-source, off-the-shelf models with zero-shot and few-shot prompting. Our results show that not only do in-domain base models perform reasonably well on in-domain tasks in a zero-shot setting but that further adaptation using instruction fine-tuning yields impressive performance on chemistry-specific tasks such as named entity recognition and molecular formula generation.
• Abstract（参考訳）: 大規模言語モデル(GPTシリーズ、BLOOM、LLaMAなど)の普及は、様々なタスク、特に自然言語処理(NLP)タスクのための多目的AIの新しい開発を推し進めている。 これらのモデルは様々なタスクにおいて強い性能を示すが、よりニッチな領域や狭い領域に適用された場合の脆さの証拠がある。 科学的領域の複雑な性質を考えると、科学領域のより標的となる基礎モデルとオフ・ザ・シェルフを活用するというトレードオフを調査することは賢明である。 本研究は, ある科学領域, 化学領域に対するドメイン内事前学習の利点を考察し, ゼロショットおよび少数ショットプロンプトを用いたオープンソースオフザシェルフモデルと比較する。 その結果、ドメイン内ベースモデルはゼロショット設定でドメイン内タスクに対して合理的に機能するだけでなく、命令の微調整によるさらなる適応は、名前付きエンティティ認識や分子式生成のような化学固有のタスクに対して印象的なパフォーマンスをもたらすことがわかった。

関連論文リスト

• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• INDUS: Effective and Efficient Language Models for Scientific Applications [8.653859684720231]
  言語モデル(LLM)は、自然言語処理(NLP)タスクにおいて顕著な結果を示した。 我々は、地球科学、生物学、物理学、生物物理学、惑星科学、天体物理学の密接に関連する分野に合わせた総合的なLLMスイートであるINDUSを開発した。 本稿では,RoBERTa(汎用)とSCIBERT(ドメイン固有)の両方のエンコーダにおいて,新たなタスクや関心領域における既存のタスクよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-17T12:15:07Z)
• Parameter Efficient Diverse Paraphrase Generation Using Sequence-Level Knowledge Distillation [0.0]
  自然言語生成(NLG)の分野は、主にLarge Language Models(LLM)の導入により、急激な急増を経験した。 これらのモデルは、自然言語処理および生成ドメイン内の様々な領域において、最も効果的なパフォーマンスを示してきた。 しかし、パラフレージングのようなドメイン固有のタスクへの応用は、重大な課題を提示している。
  論文  参考訳（メタデータ） (2024-04-19T02:59:09Z)
• nach0: Multimodal Natural and Chemical Languages Foundation Model [7.815497069231599]
  本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。 nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
  論文  参考訳（メタデータ） (2023-11-21T07:56:30Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Unifying Molecular and Textual Representations via Multi-task Language Modelling [11.474894472719543]
  化学・自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。 我々のモデルは、単一のドメインやタスク固有のモデルに対して、高価な事前トレーニングを必要とせずに、化学と自然言語を同時に扱うことができる。 我々の研究は、そのようなモデルが物理科学の発見を堅牢かつ効率的に加速できることを示唆している。
  論文  参考訳（メタデータ） (2023-01-29T23:56:45Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。