論文の概要: $\mathtt{GeLLM^3O}$: Generalizing Large Language Models for Multi-property Molecule Optimization

• arxiv url: http://arxiv.org/abs/2502.13398v1
• Date: Wed, 19 Feb 2025 03:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:01:57.704852
• Title: $\mathtt{GeLLM^3O}$: Generalizing Large Language Models for Multi-property Molecule Optimization
• Title（参考訳）: $\mathtt{GeLLM^3O}$:多目的分子最適化のための大規模言語モデルの一般化
• Authors: Vishal Dey, Xiao Hu, Xia Ning,
• Abstract要約: 大規模言語モデル(LLM)は、新しいタスクに対するドメイン外の顕著な一般化性を示す。 我々は、複雑なマルチプロパティ分子最適化タスクに特化して、最初の高品質な命令チューニングデータセットである$mathttMoMUInstruct$を紹介した。 $mathttGeLLM3O$sは一貫して最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 2.152507712409726
• License:
• Abstract: Despite recent advancements, most computational methods for molecule optimization are constrained to single- or double-property optimization tasks and suffer from poor scalability and generalizability to novel optimization tasks. Meanwhile, Large Language Models (LLMs) demonstrate remarkable out-of-domain generalizability to novel tasks. To demonstrate LLMs' potential for molecule optimization, we introduce $\mathtt{MoMUInstruct}$, the first high-quality instruction-tuning dataset specifically focused on complex multi-property molecule optimization tasks. Leveraging $\mathtt{MoMUInstruct}$, we develop $\mathtt{GeLLM^3O}$s, a series of instruction-tuned LLMs for molecule optimization. Extensive evaluations across 5 in-domain and 5 out-of-domain tasks demonstrate that $\mathtt{GeLLM^3O}$s consistently outperform state-of-the-art baselines. $\mathtt{GeLLM^3O}$s also exhibit outstanding zero-shot generalization to unseen tasks, significantly outperforming powerful closed-source LLMs. Such strong generalizability demonstrates the tremendous potential of $\mathtt{GeLLM^3O}$s as foundational models for molecule optimization, thereby tackling novel optimization tasks without resource-intensive retraining. $\mathtt{MoMUInstruct}$, models, and code are accessible through https://github.com/ninglab/GeLLMO.
• Abstract（参考訳）: 近年の進歩にもかかわらず、分子最適化のほとんどの計算手法は単項あるいは二重項の最適化タスクに制約されており、新しい最適化タスクに対するスケーラビリティと一般化性の不足に悩まされている。 一方、Large Language Models (LLMs) は、新しいタスクに対して、ドメイン外の顕著な一般化性を示す。 LLMの分子最適化の可能性を示すために、複雑な多元性分子最適化タスクに特化した最初の高品質な命令チューニングデータセットである$\mathtt{MoMUInstruct}$を紹介した。 分子最適化のための命令調整 LLM シリーズである $\mathtt{GeLLM^3O}$s を開発する。 5つのドメイン内タスクと5つのドメイン外タスクの広範な評価は、$\mathtt{GeLLM^3O}$sが一貫して最先端のベースラインを上回っていることを示している。 $\mathtt{GeLLM^3O}$s はまた、目に見えないタスクに対する卓越したゼロショットの一般化を示し、強力なクローズドソース LLM を著しく上回る。 そのような強い一般化性は、分子最適化の基礎モデルとして$\mathtt{GeLLM^3O}$sの膨大なポテンシャルを示し、資源集約的な再学習なしに新しい最適化タスクに取り組む。 $\mathtt{MoMUInstruct}$、モデル、コードはhttps://github.com/ninglab/GeLLMOからアクセスできます。

関連論文リスト

• LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch [16.174567164068037]
  最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。 LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。 LLMOPTの最適化一般化能力を評価し,実世界の6つのデータセットを比較した。
  論文  参考訳（メタデータ） (2024-10-17T04:37:37Z)
• Theoretical Insights into Fine-Tuning Attention Mechanism: Generalization and Optimization [22.317176475276725]
  大規模言語モデル(LLM)の微調整中に観察される2つの顕著な現象について検討する。 $mathbfW_q$と$mathbfW_v$マトリックスのみを微調整することで、$mathbfW_k$マトリックスの最適化よりもパフォーマンスが大幅に向上する。 ストレージと時間の両方で微調整効率を向上させる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-03T06:37:37Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• DrugAssist: A Large Language Model for Molecule Optimization [29.95488215594247]
  DrugAssistは、人間と機械の対話を通じて最適化を行う対話型分子最適化モデルである。 DrugAssistは、単一および複数プロパティの最適化において、主要な結果を得た。 分子最適化タスクの微調整言語モデルのための,MomoOpt-Instructionsと呼ばれる大規模命令ベースデータセットを公開している。
  論文  参考訳（メタデータ） (2023-12-28T10:46:56Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Landscape Surrogate: Learning Decision Losses for Mathematical Optimization Under Partial Information [48.784330281177446]
  学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。 本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。 このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
  論文  参考訳（メタデータ） (2023-07-18T04:29:16Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。