論文の概要: Large Language Models are In-Context Molecule Learners
- arxiv url: http://arxiv.org/abs/2403.04197v1
- Date: Thu, 7 Mar 2024 03:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 15:13:51.570763
- Title: Large Language Models are In-Context Molecule Learners
- Title(参考訳): 大規模言語モデルは文脈内分子学習者である
- Authors: Jiatong Li, Wei Liu, Zhihao Ding, Wenqi Fan, Yuqiang Li, Qing Li
- Abstract要約: 我々は,LLMが文脈例から分子文アライメントを学習できる新しいパラダイムとして,In-Context Molecule Adaptation (ICMA)を提案する。
ICMAは、クロスモーダル検索(英語版)、ポストモーダル検索(英語版)、インコンテクスト・モレクルチューニング(英語版)の3段階を組み込んでいる。
ICMTは、余分な訓練コーパスや複雑な構造を伴わずに、LLMに最先端または同等のパフォーマンスを実現することができることを示す。
- 参考スコア(独自算出の注目度): 23.382915710826033
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated exceptional performance in
biochemical tasks, especially the molecule caption translation task, which aims
to bridge the gap between molecules and natural language texts. However,
previous methods in adapting LLMs to the molecule-caption translation task
required extra domain-specific pre-training stages, suffered weak alignment
between molecular and textual spaces, or imposed stringent demands on the scale
of LLMs. To resolve the challenges, we propose In-Context Molecule Adaptation
(ICMA), as a new paradigm allowing LLMs to learn the molecule-text alignment
from context examples via In-Context Molecule Tuning. Specifically, ICMA
incorporates the following three stages: Cross-modal Retrieval, Post-retrieval
Re-ranking, and In-context Molecule Tuning. Initially, Cross-modal Retrieval
utilizes BM25 Caption Retrieval and Molecule Graph Retrieval to retrieve
informative context examples. Additionally, we also propose Post-retrieval
Re-ranking with Sequence Reversal and Random Walk to further improve the
quality of retrieval results. Finally, In-Context Molecule Tuning unlocks the
in-context molecule learning capability of LLMs with retrieved examples and
adapts the parameters of LLMs for the molecule-caption translation task.
Experimental results demonstrate that ICMT can empower LLMs to achieve
state-of-the-art or comparable performance without extra training corpora and
intricate structures, showing that LLMs are inherently in-context molecule
learners.
- Abstract(参考訳): 大言語モデル(LLM)は、特に分子と自然言語のテキストのギャップを埋めることを目的とした分子キャプション翻訳タスクにおいて、例外的な性能を示した。
しかし、従来のLLMの分子キャプション翻訳タスクへの適応には、ドメイン固有の事前学習段階が必要であり、分子空間とテキスト空間の整合性は弱かった。
これらの課題を解決するために,LLM が文脈例から分子文アライメントを学習するための新しいパラダイムとして,In-Context Molecule Adaptation (ICMA) を提案する。
具体的には、ICMAは、クロスモーダル検索、ポストモーダル検索、インコンテクスト・モレクルチューニングの3段階を取り入れている。
当初、Cross-modal RetrievalはBM25 Caption RetrievalとMorecule Graph Retrievalを使用して情報的コンテキストのサンプルを取得する。
さらに,検索結果の質をさらに向上させるために,シーケンス反転とランダムウォークを用いたリトライ後の再ランキングを提案する。
最後に、In-Context Molecule Tuningは、LLMのコンテキスト内分子学習能力を検索例で解き、LLMのパラメータを分子カプセル翻訳タスクに適用する。
実験により, ICMTは, LLMが本来は文脈内分子学習者であることを示すため, 余分な訓練コーパスや複雑な構造を伴わずに, 最先端または同等の性能を達成することができることを示した。
関連論文リスト
- Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [51.58302921340358]
本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。
TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。
我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
論文 参考訳(メタデータ) (2024-03-20T02:15:55Z) - Benchmarking Large Language Models for Molecule Prediction Tasks [7.067145619709089]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクの最前線にある。
LLMは分子予測タスクを効果的に扱えるのか?
6つの標準分子データセットの分類および回帰予測タスクを同定する。
テキストベースのモデルと、分子の幾何学的構造を分析するために特別に設計されたモデルを含む、既存の機械学習(ML)モデルと比較する。
論文 参考訳(メタデータ) (2024-03-08T05:59:56Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - From Words to Molecules: A Survey of Large Language Models in Chemistry [8.129759559674968]
本稿では,Large Language Models (LLM) を化学分野に組み込む際に用いられるニュアンスド方法論について考察する。
化学LLMを,その入力データのドメインとモダリティに基づいて3つの異なるグループに分類し,これらをLCMに組み込むアプローチについて議論する。
最後に,化学知識のさらなる統合,継続学習の進歩,モデル解釈可能性の向上など,有望な研究方向性を明らかにした。
論文 参考訳(メタデータ) (2024-02-02T14:30:48Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。
近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。
本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
論文 参考訳(メタデータ) (2023-07-14T16:06:42Z) - Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。
本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。
分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文 参考訳(メタデータ) (2023-06-11T08:16:25Z) - MolXPT: Wrapping Molecules with Text for Generative Pre-training [141.0924452870112]
MolXPTは、テキストでラップされたSMILESで事前訓練されたテキストと分子の統一言語モデルである。
MolXPT は MoleculeNet 上での分子特性予測の強いベースラインを上回ります。
論文 参考訳(メタデータ) (2023-05-18T03:58:19Z) - Fragment-based Sequential Translation for Molecular Optimization [23.152338167332374]
本稿では,分子断片を用いた分子生成のためのフレキシブルな編集パラダイムを提案する。
我々は変分オートエンコーダを用いて分子断片をコヒーレント潜在空間に符号化する。
そして、分子を編集して複雑な化学特性空間を探索する語彙として利用します。
論文 参考訳(メタデータ) (2021-10-26T21:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。