Fugu-MT 論文翻訳(概要): Large Language Models are In-Context Molecule Learners

論文の概要: Large Language Models are In-Context Molecule Learners

arxiv url: http://arxiv.org/abs/2403.04197v2
Date: Tue, 16 Apr 2024 05:07:52 GMT
ステータス: 処理完了
システム内更新日: 2024-04-17 22:46:16.355336
Title: Large Language Models are In-Context Molecule Learners
Title（参考訳）: 大規模言語モデルはインコンテキストの分子学習者である
Authors: Jiatong Li, Wei Liu, Zhihao Ding, Wenqi Fan, Yuqiang Li, Qing Li,
Abstract要約: 我々は,LLMが文脈例から分子文アライメントを学習できる新しいパラダイムとして,In-Context Molecule Adaptation (ICMA)を提案する。 ICMAは、Hybrid Context Retrieval、Post-Retrieval Re- rank、In-context Molecule Tuningの3つのステージを組み込んでいる。 ICMTは、余分な訓練コーパスや複雑な構造を伴わずに、LLMに最先端または同等のパフォーマンスを実現することができることを示す。
参考スコア（独自算出の注目度）: 22.06735237464927
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large Language Models (LLMs) have demonstrated exceptional performance in biochemical tasks, especially the molecule caption translation task, which aims to bridge the gap between molecules and natural language texts. However, previous methods in adapting LLMs to the molecule-caption translation task required extra domain-specific pre-training stages, suffered weak alignment between molecular and textual spaces, or imposed stringent demands on the scale of LLMs. To resolve the challenges, we propose In-Context Molecule Adaptation (ICMA), as a new paradigm allowing LLMs to learn the molecule-text alignment from context examples via In-Context Molecule Tuning. Specifically, ICMA incorporates the following three stages: Hybrid Context Retrieval, Post-retrieval Re-ranking, and In-context Molecule Tuning. Initially, Hybrid Context Retrieval utilizes BM25 Caption Retrieval and Molecule Graph Retrieval to retrieve informative context examples. Additionally, we also propose Post-retrieval Re-ranking with Sequence Reversal and Random Walk to further improve the quality of retrieval results. Finally, In-Context Molecule Tuning unlocks the in-context molecule learning capability of LLMs with retrieved examples and adapts the parameters of LLMs for the molecule-caption translation task. Experimental results demonstrate that ICMT can empower LLMs to achieve state-of-the-art or comparable performance without extra training corpora and intricate structures, showing that LLMs are inherently in-context molecule learners.
Abstract（参考訳）: 大規模言語モデル(LLM)は、特に分子と自然言語のテキストのギャップを埋めることを目的とした分子キャプション翻訳タスクにおいて、例外的な性能を示した。しかし、従来のLLMの分子カプセル翻訳タスクへの適応には、ドメイン固有の事前訓練段階が必要であり、分子空間とテキスト空間の整合が弱かったり、LLMのスケールに厳格な要求が課されたりしていた。課題を解決するために,LLMがコンテキスト例から分子文アライメントを学習するための新しいパラダイムとして,In-Context Molecule Adaptation (ICMA)を提案する。特に、ICMAは、ハイブリッドコンテキスト検索、ポスト検索再分類、インコンテキスト・モレクル・チューニングの3つの段階を取り入れている。当初、Hybrid Context RetrievalはBM25 Caption RetrievalとMorecule Graph Retrievalを使用して情報的コンテキストのサンプルを取得する。また、検索結果の質をさらに向上させるために、Sequence ReversalとRandom Walkを用いた検索後再ランク付けも提案する。最後に、In-Context Molecule Tuningは、LLMのコンテキスト内分子学習能力を検索例で解き、LLMのパラメータを分子カプセル翻訳タスクに適用する。実験により, ICMTは, LLMが本来は文脈内分子学習者であることを示すため, 余分な訓練コーパスや複雑な構造を伴わずに, 最先端または同等の性能を達成することができることを示した。

関連論文リスト

MolReFlect: Towards In-Context Fine-grained Alignments between Molecules and Texts [23.53304253421472]
MolReFlectは、微細な方法で分子カプセルアライメントを文脈的に実行するように設計された教師学生向けフレームワークである。実験の結果,MorReFlectはMistral-7BのようなLLMを従来のベースラインよりも大幅に向上させることができることがわかった。
論文参考訳（メタデータ） (2024-11-22T04:28:56Z)
MolCap-Arena: A Comprehensive Captioning Benchmark on Language-Enhanced Molecular Property Prediction [44.27112553103388]
分子特性予測を拡張した大規模言語モデル(LLM)の最初の包括的なベンチマークである分子キャプションアリーナを提示する。汎用分子キャプタとドメイン特異的分子キャプタを含む20以上のLDMを,様々な予測タスクで評価した。以上の結果から,LLM抽出した知識が最先端の分子表現を向上する可能性が示唆された。
論文参考訳（メタデータ） (2024-11-01T17:03:16Z)
Text-Guided Multi-Property Molecular Optimization with a Diffusion Language Model [77.50732023411811]
変換器を用いた拡散言語モデル(TransDLM)を用いたテキスト誘導多目的分子最適化手法を提案する。 TransDLMは標準化された化学命名法を分子の意味表現として利用し、プロパティ要求をテキスト記述に暗黙的に埋め込む。提案手法は, 分子構造類似性を最適化し, ベンチマークデータセットの化学的特性を向上するための最先端手法を超越した手法である。
論文参考訳（メタデータ） (2024-10-17T14:30:27Z)
Many-Shot In-Context Learning for Molecular Inverse Design [56.65345962071059]
大規模言語モデル(LLM)は、数ショットのインコンテキスト学習(ICL)において、優れたパフォーマンスを示している。マルチショットICLで利用可能な実験データの不足を克服する,新しい半教師付き学習手法を開発した。示すように、この新しい手法は、既存の分子設計のためのICL法を大幅に改善し、科学者にとってアクセスしやすく、使いやすくする。
論文参考訳（メタデータ） (2024-07-26T21:10:50Z)
MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
論文参考訳（メタデータ） (2024-06-10T20:25:18Z)
Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
論文参考訳（メタデータ） (2024-05-10T11:44:05Z)
Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文参考訳（メタデータ） (2024-02-26T09:36:05Z)
Can Large Language Models Empower Molecular Property Prediction? [16.5246941211725]
分子特性の予測は、科学分野における形質転換の可能性によって大きな注目を集めている。近年,Large Language Models (LLMs) が急速に発展し,NLPの分野に革命をもたらした。本研究では、ゼロ/フェーショットの分子分類と、LLMによって生成された新しい説明を分子の表現として用いるという2つの視点を通して、この目的に向けて前進する。
論文参考訳（メタデータ） (2023-07-14T16:06:42Z)
Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
論文参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。