Fugu-MT 論文翻訳(概要): nach0: Multimodal Natural and Chemical Languages Foundation Model

論文の概要: nach0: Multimodal Natural and Chemical Languages Foundation Model

arxiv url: http://arxiv.org/abs/2311.12410v2
Date: Mon, 29 Apr 2024 09:46:24 GMT
ステータス: 処理完了
システム内更新日: 2024-05-01 19:37:57.185395
Title: nach0: Multimodal Natural and Chemical Languages Foundation Model
Title（参考訳）: nach0: マルチモーダルな自然言語と化学言語の基礎モデル
Authors: Micha Livne, Zulfat Miftahutdinov, Elena Tutubalina, Maksim Kuznetsov, Daniil Polykovskiy, Annika Brundyn, Aastha Jhunjhunwala, Anthony Costa, Alex Aliper, Alán Aspuru-Guzik, Alex Zhavoronkov,
Abstract要約: 本稿では, 様々な化学的・生物学的課題を解決できる新しい基礎モデルであるnach0を紹介する。 nach0は、科学文献、特許、分子文字列の未ラベルテキストで事前訓練されたマルチドメインおよびマルチタスクエンコーダLLMである。
参考スコア（独自算出の注目度）: 7.815497069231599
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have substantially driven scientific progress in various domains, and many papers have demonstrated their ability to tackle complex problems with creative solutions. Our paper introduces a new foundation model, nach0, capable of solving various chemical and biological tasks: biomedical question answering, named entity recognition, molecular generation, molecular synthesis, attributes prediction, and others. nach0 is a multi-domain and multi-task encoder-decoder LLM pre-trained on unlabeled text from scientific literature, patents, and molecule strings to incorporate a range of chemical and linguistic knowledge. We employed instruction tuning, where specific task-related instructions are utilized to fine-tune nach0 for the final set of tasks. To train nach0 effectively, we leverage the NeMo framework, enabling efficient parallel optimization of both base and large model versions. Extensive experiments demonstrate that our model outperforms state-of-the-art baselines on single-domain and cross-domain tasks. Furthermore, it can generate high-quality outputs in molecular and textual formats, showcasing its effectiveness in multi-domain setups.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域において科学的進歩を著しく推進し、多くの論文が創造的なソリューションで複雑な問題に取り組む能力を示した。本稿では, 生物医学的質問応答, 実体認識, 分子生成, 分子合成, 属性予測など, 様々な化学・生物学的課題を解く新しい基礎モデル, nach0を提案する。 nach0は、科学文献、特許、分子文字列のラベルのないテキストで事前訓練されたマルチドメインでマルチタスクのエンコーダである。我々は,タスクの最終的なセットに対して,特定のタスク関連命令を使用してnach0を微調整するインストラクションチューニングを採用した。 nach0を効果的に訓練するために、NeMoフレームワークを活用し、ベースモデルと大型モデルの両方を効率的に並列に最適化する。大規模な実験により、我々のモデルは単一ドメインおよびクロスドメインタスクにおける最先端のベースラインより優れていることが示された。さらに、分子およびテキスト形式で高品質な出力を生成することができ、その有効性をマルチドメイン設定で示すことができる。

関連論文リスト

Exploring the Benefits of Domain-Pretraining of Generative Large Language Models for Chemistry [5.4665365335928024]
我々は、科学分野におけるオフ・ザ・シェルフとより標的となる基礎モデルを活用することのトレードオフについて検討する。本研究は, ある科学領域, 化学領域に対するドメイン内事前学習の利点を考察し, ゼロショットおよび少数ショットプロンプトを用いたオープンソースオフザシェルフモデルと比較する。その結果、ドメイン内ベースモデルではゼロショット設定でドメイン内タスクを合理的に実行することができるだけでなく、命令の微調整によるさらなる適応は、化学固有のタスクに顕著なパフォーマンスをもたらすことがわかった。
論文参考訳（メタデータ） (2024-11-05T22:45:10Z)
MAMMAL -- Molecular Aligned Multi-Modal Architecture and Language [0.24434823694833652]
MAMMALは、大規模生物学的データセットから学習する多目的マルチタスク基盤モデルである。我々は、幅広い分類、回帰、生成タスクをサポートするプロンプト構文を導入する。典型的薬物発見パイプライン内の異なるステップにまたがる11種類の下流タスクのモデルを評価した。
論文参考訳（メタデータ） (2024-10-28T20:45:52Z)
nach0-pc: Multi-task Language Model with Molecular Point Cloud Encoder [8.125243669908318]
nach0-pcは、ドメイン固有のエンコーダとテキスト表現を組み合わせて、原子の空間配置を効果的に処理するモデルである。本稿では,空間分子構造データセットから知識を抽出するための,分子点雲のための新しい事前学習手法を提案する。
論文参考訳（メタデータ） (2024-10-11T20:30:44Z)
Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design [0.0]
本研究は,ゼロショットテキスト条件デノボ分子生成タスクにおいて,大規模言語モデル(LLM)の知識増進プロンプトの利用について検討する。本フレームワークは,ベンチマークデータセット上でのSOTA(State-of-the-art)ベースラインモデルの有効性を実証する。
論文参考訳（メタデータ） (2024-08-18T11:37:19Z)
Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
論文参考訳（メタデータ） (2024-03-20T02:15:55Z)
Leveraging Biomolecule and Natural Language through Multi-Modal Learning: A Survey [75.47055414002571]
生物分子モデリングと自然言語(BL)の統合は、人工知能、化学、生物学の交差点において有望な学際領域として現れてきた。生体分子と自然言語の相互モデリングによって達成された最近の進歩について分析する。
論文参考訳（メタデータ） (2024-03-03T14:59:47Z)
Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文参考訳（メタデータ） (2023-06-11T08:16:25Z)
Implicit Geometry and Interaction Embeddings Improve Few-Shot Molecular Property Prediction [53.06671763877109]
我々は, 複雑な分子特性を符号化した分子埋め込みを開発し, 数発の分子特性予測の性能を向上させる。我々の手法は大量の合成データ、すなわち分子ドッキング計算の結果を利用する。複数の分子特性予測ベンチマークでは、埋め込み空間からのトレーニングにより、マルチタスク、MAML、プロトタイプラーニング性能が大幅に向上する。
論文参考訳（メタデータ） (2023-02-04T01:32:40Z)
Unifying Molecular and Textual Representations via Multi-task Language Modelling [11.474894472719543]
化学・自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。我々のモデルは、単一のドメインやタスク固有のモデルに対して、高価な事前トレーニングを必要とせずに、化学と自然言語を同時に扱うことができる。我々の研究は、そのようなモデルが物理科学の発見を堅牢かつ効率的に加速できることを示唆している。
論文参考訳（メタデータ） (2023-01-29T23:56:45Z)
A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
論文参考訳（メタデータ） (2022-09-12T00:56:57Z)
Reinforced Molecular Optimization with Neighborhood-Controlled Grammars [63.84003497770347]
分子最適化のためのグラフ畳み込みポリシネットワークであるMNCE-RLを提案する。我々は、元の近傍制御された埋め込み文法を拡張して、分子グラフ生成に適用する。提案手法は, 分子最適化タスクの多種多様さにおいて, 最先端性能を実現する。
論文参考訳（メタデータ） (2020-11-14T05:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。