論文の概要: Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

• arxiv url: http://arxiv.org/abs/2412.14642v3
• Date: Mon, 15 Sep 2025 17:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 15:23:15.91673
• Title: Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation
• Title（参考訳）: Speak-to-Structure:オープンドメイン自然言語駆動分子生成におけるLCMの評価
• Authors: Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Dongzhan Zhou, Xiao-yong Wei, Qing Li,
• Abstract要約: Speak-to-Structure (S2-Bench) は、オープンドメインの自然言語駆動分子生成において、LLM(Large Language Models)を評価する最初のベンチマークである。 私たちのベンチマークには、分子編集(MolEdit)、分子最適化(MolOpt)、カスタマイズされた分子生成(MolCustom)の3つの重要なタスクが含まれている。 また,Llama-3.1-8B が S2-Bench 上で GPT-4o や Claude-3.5 といった最強の LLM を超えるような大規模命令チューニングデータセット OpenMolIns も導入した。
• 参考スコア（独自算出の注目度）: 26.166926881479316
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, Large Language Models (LLMs) have shown great potential in natural language-driven molecule discovery. However, existing datasets and benchmarks for molecule-text alignment are predominantly built on a one-to-one mapping, measuring LLMs' ability to retrieve a single, pre-defined answer, rather than their creative potential to generate diverse, yet equally valid, molecular candidates. To address this critical gap, we propose Speak-to-Structure (S^2-Bench}), the first benchmark to evaluate LLMs in open-domain natural language-driven molecule generation. S^2-Bench is specifically designed for one-to-many relationships, challenging LLMs to demonstrate genuine molecular understanding and generation capabilities. Our benchmark includes three key tasks: molecule editing (MolEdit), molecule optimization (MolOpt), and customized molecule generation (MolCustom), each probing a different aspect of molecule discovery. We also introduce OpenMolIns, a large-scale instruction tuning dataset that enables Llama-3.1-8B to surpass the most powerful LLMs like GPT-4o and Claude-3.5 on S^2-Bench. Our comprehensive evaluation of 28 LLMs shifts the focus from simple pattern recall to realistic molecular design, paving the way for more capable LLMs in natural language-driven molecule discovery.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) は自然言語駆動分子発見に大きな可能性を示している。 しかしながら、分子-テキストアライメントのための既存のデータセットとベンチマークは、1対1のマッピングに基づいて構築され、LLMが単一の事前定義された解を検索する能力を測定する。 この重要なギャップに対処するために、オープンドメイン自然言語駆動分子生成におけるLSMを評価する最初のベンチマークであるSpeak-to-Structure (S^2-Bench})を提案する。 S^2-Benchは、一対多の関係のために特別に設計され、本当の分子理解と生成能力を実証するためにLSMに挑戦する。 分子編集(MolEdit)、分子最適化(MolOpt)、カスタマイズされた分子生成(MolCustom)の3つの重要なタスクを含む。 また,Llama-3.1-8B が S^2-Bench 上で GPT-4o や Claude-3.5 といった最強の LLM を超えるような大規模命令チューニングデータセット OpenMolIns も導入した。 28個のLLMの総合的な評価は、単純なパターンリコールから現実的な分子設計へと焦点を移し、自然言語駆動分子発見におけるより有能なLLMへの道を開いた。

関連論文リスト

• Large Language Model Agent for Modular Task Execution in Drug Discovery [7.1616715247845955]
  本稿では,大規模言語モデル(LLM)をベースとしたモジュール型フレームワークを提案する。 LLM推論とドメイン固有のツールを組み合わせることで、バイオメディカルデータ検索、ドメイン固有の質問応答、分子生成、特性予測、特性認識分子精製、および3Dタンパク質リガンド構造生成を行う。
  論文  参考訳（メタデータ） (2025-06-26T00:19:01Z)
• ChemMLLM: Chemical Multimodal Large Language Model [52.95382215206681]
  分子理解と生成のための化学多モーダル大規模言語モデルであるChemMLLMを提案する。 また、テキスト、分子SMILES文字列、画像にまたがる5つのマルチモーダルタスクを設計し、データセットをキュレートする。 実験結果から,ChemMLLMは評価された全てのタスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-22T07:32:17Z)
• A Survey of Large Language Models for Text-Guided Molecular Discovery: from Molecule Generation to Optimization [20.160910256604726]
  大規模言語モデル(LLM)は分子発見のパラダイムシフトを導入している。 この調査は、分子生成と分子最適化という2つの中心的なタスクにおいて、LSMの新たな利用について、最新のレビューを提供する。
  論文  参考訳（メタデータ） (2025-05-22T00:26:27Z)
• OpenTuringBench: An Open-Model-based Benchmark and Framework for Machine-Generated Text Detection and Attribution [4.742123770879715]
  Open Large Language Models (OLLM) は、生成AIアプリケーションにますます活用されている。 OLLMをベースとした新しいベンチマークであるOpenTuringBenchを提案する。
  論文  参考訳（メタデータ） (2025-04-15T16:36:14Z)
• OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs [62.68905180014956]
  我々は,500万の多様なサンプルからなる最大オープンアクセス命令チューニングデータセットであるOpenCodeInstructを紹介した。 各サンプルには、プログラミング質問、ソリューション、テストケース、実行フィードバック、LLM生成の品質評価が含まれている。 LLaMAやQwenなど,さまざまなベースモデルを,データセットを使用して複数のスケール(1B+,3B+,7B+)にわたって微調整します。
  論文  参考訳（メタデータ） (2025-04-05T02:52:16Z)
• Property Enhanced Instruction Tuning for Multi-task Molecule Generation with Large Language Models [43.37148291436855]
  分子関連タスクのための大規模言語モデルを改善するための2段階のフレームワークPEITを提案する。 最初のステップでは、PEIT-GENと呼ばれるモデルを事前訓練するために、テキスト記述、SMILES、生化学的特性をマルチモーダル入力として使用します。 2番目のステップでは、既存のオープンソースLCMを合成データで微調整し、PEIT-LLMは分子キャプション、テキストベースの分子生成、分子特性予測、新たに提案したマルチ制約分子生成タスクを処理できる。
  論文  参考訳（メタデータ） (2024-12-24T01:48:07Z)
• MolX: Enhancing Large Language Models for Molecular Learning with A Multi-Modal Extension [34.586861881519134]
  タスクハンドリング能力の強い大規模言語モデル(LLM)は、様々な分野において顕著な進歩を見せている。 本研究は、分子をマルチモーダルな外部モジュール、すなわちMollXに装備することで、分子の理解能力を高めることを目的とする。 特に,分子の表現にSMILES文字列を直接使用する代わりに,特定のエンコーダを用いて,SMILES文字列と2次元分子グラフ表現の両方から微細な特徴を抽出する。
  論文  参考訳（メタデータ） (2024-06-10T20:25:18Z)
• RAG-Enhanced Commit Message Generation [8.858678357308726]
  コミットメッセージ生成は研究ホットスポットになっている。 手動でコミットメッセージを書くのに時間がかかります。 本稿では,Retrieval-Augmented framework for CommiTメッセージ生成のためのREACTを提案する。
  論文  参考訳（メタデータ） (2024-06-08T16:24:24Z)
• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• FOFO: A Benchmark to Evaluate LLMs' Format-Following Capability [70.84333325049123]
  FoFoは、大規模言語モデル(LLM)の複雑なドメイン固有のフォーマットに従う能力を評価するための先駆的なベンチマークである。 本稿では,大規模言語モデル(LLM)の複雑なドメイン固有フォーマットに従う能力を評価するための先駆的ベンチマークであるFoFoを提案する。
  論文  参考訳（メタデータ） (2024-02-28T19:23:27Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• LLM4VV: Developing LLM-Driven Testsuite for Compiler Validation [7.979116939578324]
  大規模言語モデル(LLM)は、自然言語を含む幅広いアプリケーションのための強力なツールである。 オープンソースLLM -- Meta Codellama、PhindによるCodellama、Deepseek Deepseek Coder、クローズソースLLM -- OpenAI GPT-3.5-Turbo、GPT-4-Turboなど、最先端のLLMの機能について検討する。
  論文  参考訳（メタデータ） (2023-10-08T01:43:39Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。