論文の概要: $\mathtt{GeLLM^3O}$: Generalizing Large Language Models for Multi-property Molecule Optimization

• arxiv url: http://arxiv.org/abs/2502.13398v1
• Date: Wed, 19 Feb 2025 03:14:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 20:12:09.836863
• Title: $\mathtt{GeLLM^3O}$: Generalizing Large Language Models for Multi-property Molecule Optimization
• Title（参考訳）: $\mathtt{GeLLM^3O}$:多目的分子最適化のための大規模言語モデルの一般化
• Authors: Vishal Dey, Xiao Hu, Xia Ning,
• Abstract要約: 大規模言語モデル(LLM)は、新しいタスクに対するドメイン外の顕著な一般化性を示す。 我々は、複雑なマルチプロパティ分子最適化タスクに特化して、最初の高品質な命令チューニングデータセットである$mathttMoMUInstruct$を紹介した。 $mathttGeLLM3O$sは一貫して最先端のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 2.152507712409726
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent advancements, most computational methods for molecule optimization are constrained to single- or double-property optimization tasks and suffer from poor scalability and generalizability to novel optimization tasks. Meanwhile, Large Language Models (LLMs) demonstrate remarkable out-of-domain generalizability to novel tasks. To demonstrate LLMs' potential for molecule optimization, we introduce $\mathtt{MoMUInstruct}$, the first high-quality instruction-tuning dataset specifically focused on complex multi-property molecule optimization tasks. Leveraging $\mathtt{MoMUInstruct}$, we develop $\mathtt{GeLLM^3O}$s, a series of instruction-tuned LLMs for molecule optimization. Extensive evaluations across 5 in-domain and 5 out-of-domain tasks demonstrate that $\mathtt{GeLLM^3O}$s consistently outperform state-of-the-art baselines. $\mathtt{GeLLM^3O}$s also exhibit outstanding zero-shot generalization to unseen tasks, significantly outperforming powerful closed-source LLMs. Such strong generalizability demonstrates the tremendous potential of $\mathtt{GeLLM^3O}$s as foundational models for molecule optimization, thereby tackling novel optimization tasks without resource-intensive retraining. $\mathtt{MoMUInstruct}$, models, and code are accessible through https://github.com/ninglab/GeLLMO.
• Abstract（参考訳）: 近年の進歩にもかかわらず、分子最適化のほとんどの計算手法は単項あるいは二重項の最適化タスクに制約されており、新しい最適化タスクに対するスケーラビリティと一般化性の不足に悩まされている。 一方、Large Language Models (LLMs) は、新しいタスクに対して、ドメイン外の顕著な一般化性を示す。 LLMの分子最適化の可能性を示すために、複雑な多元性分子最適化タスクに特化した最初の高品質な命令チューニングデータセットである$\mathtt{MoMUInstruct}$を紹介した。 分子最適化のための命令調整 LLM シリーズである $\mathtt{GeLLM^3O}$s を開発する。 5つのドメイン内タスクと5つのドメイン外タスクの広範な評価は、$\mathtt{GeLLM^3O}$sが一貫して最先端のベースラインを上回っていることを示している。 $\mathtt{GeLLM^3O}$s はまた、目に見えないタスクに対する卓越したゼロショットの一般化を示し、強力なクローズドソース LLM を著しく上回る。 そのような強い一般化性は、分子最適化の基礎モデルとして$\mathtt{GeLLM^3O}$sの膨大なポテンシャルを示し、資源集約的な再学習なしに新しい最適化タスクに取り組む。 $\mathtt{MoMUInstruct}$、モデル、コードはhttps://github.com/ninglab/GeLLMOからアクセスできます。

関連論文リスト

• Direct Behavior Optimization: Unlocking the Potential of Lightweight LLMs [9.085280547983091]
  DeBoPはLwLLMの動作を直接最適化する自動最適化手法である。 現状のLLMが優れているが、LwLLMは一般的に性能が劣る7つの課題についてDeBoPを評価した。 DeBoPに最適化されたLwLLMは、ほとんどのタスクでGPT-3.5を超え、計算時間を約60%削減した。
  論文  参考訳（メタデータ） (2025-06-06T02:40:42Z)
• Large Language Models for Controllable Multi-property Multi-objective Molecule Optimization [2.152507712409726]
  我々はC-MuMOInstructを紹介した。C-MuMOInstructは、明示的でプロパティ固有の目的を持つマルチプロパティ最適化に焦点を当てた最初の命令チューニングデータセットである。 GeLLMO-Cs は命令調整型 LLM で,目標となるプロパティ固有の最適化を行うことができる。 実験の結果,GeLLMO-Csは高いベースラインを一貫して上回り,最大126%の成功率を達成した。
  論文  参考訳（メタデータ） (2025-05-29T20:29:14Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  我々は、MLLMのマルチモーダル推論能力を高めるために、選好最適化(PO)プロセスを導入する。 具体的には、自動選好データ構築パイプラインを設計し、高品質で大規模なマルチモーダル推論選好データセットであるMMPRを作成する。 マルチモーダルCoT性能を向上するMPO(Mixed Preference Optimization)と呼ばれるシンプルな手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• LLMOPT: Learning to Define and Solve General Optimization Problems from Scratch [16.174567164068037]
  最適化の一般化を促進するため,LLMOPTと呼ばれる統合学習ベースのフレームワークを提案する。 LLMOPTは、様々な最適化問題タイプを定義するための普遍モデルとして導入された5要素の定式化を構築している。 LLMOPTは線形/非線形プログラミングや混合整数プログラミングといった様々な最適化問題をモデル化することができる。
  論文  参考訳（メタデータ） (2024-10-17T04:37:37Z)
• Theoretical Insights into Fine-Tuning Attention Mechanism: Generalization and Optimization [22.317176475276725]
  大規模言語モデル(LLM)の微調整中に観察される2つの顕著な現象について検討する。 $mathbfW_q$と$mathbfW_v$マトリックスのみを微調整することで、$mathbfW_k$マトリックスの最適化よりもパフォーマンスが大幅に向上する。 ストレージと時間の両方で微調整効率を向上させる新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-03T06:37:37Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• LLaMoCo: Instruction Tuning of Large Language Models for Optimization Code Generation [26.975412742800614]
  我々はLLaMoCoを紹介した。LLaMoCoは、大規模言語モデルをコード・コード方式で最適化問題を解くために設計した最初の命令チューニングフレームワークである。 具体的には、よく記述された問題プロンプトと効果的な最適化コードを含む包括的命令セットを確立する。 LLaMoCoにより微調整された CodeGen (350M) モデルでは, GPT-4 Turbo よりも優れた最適化性能が得られた。
  論文  参考訳（メタデータ） (2024-03-02T08:21:59Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• DrugAssist: A Large Language Model for Molecule Optimization [29.95488215594247]
  DrugAssistは、人間と機械の対話を通じて最適化を行う対話型分子最適化モデルである。 DrugAssistは、単一および複数プロパティの最適化において、主要な結果を得た。 分子最適化タスクの微調整言語モデルのための,MomoOpt-Instructionsと呼ばれる大規模命令ベースデータセットを公開している。
  論文  参考訳（メタデータ） (2023-12-28T10:46:56Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• Landscape Surrogate: Learning Decision Losses for Mathematical Optimization Under Partial Information [48.784330281177446]
  学習統合最適化の最近の研究は、最適化が部分的にのみ観察される場合や、専門家のチューニングなしに汎用性が不十分な環境では有望であることを示している。 本稿では,$fcirc mathbfg$の代替として,スムーズで学習可能なランドスケープサロゲートを提案する。 このサロゲートはニューラルネットワークによって学習可能で、$mathbfg$ソルバよりも高速に計算でき、トレーニング中に密度が高く滑らかな勾配を提供し、目に見えない最適化問題に一般化でき、交互最適化によって効率的に学習される。
  論文  参考訳（メタデータ） (2023-07-18T04:29:16Z)
• Enhanced Adaptive Gradient Algorithms for Nonconvex-PL Minimax Optimization [41.28002701420715]
  ミニマックス最適化は多くの機械学習タスクに広く応用されている。 我々は,本手法が特定の型に依存することなく,最もよく知られたサンプル複雑性を有することを示す。
  論文  参考訳（メタデータ） (2023-03-07T15:33:12Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials [5.905364646955811]
  人工知能(AI)と機械学習(ML)の分野では、未知のターゲット関数 $y=f(mathbfx)$ の近似が共通の目的である。 トレーニングセットとして$S$を参照し、新しいインスタンス$mathbfx$に対して、このターゲット関数を効果的に近似できる低複雑さの数学的モデルを特定することを目的としている。
  論文  参考訳（メタデータ） (2020-11-27T04:57:40Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。