論文の概要: LLMs are Highly-Constrained Biophysical Sequence Optimizers

• arxiv url: http://arxiv.org/abs/2410.22296v2
• Date: Thu, 31 Oct 2024 21:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:59.714485
• Title: LLMs are Highly-Constrained Biophysical Sequence Optimizers
• Title（参考訳）: LLMは高度に拘束された生体物理配列最適化剤である
• Authors: Angelica Chen, Samuel D. Stanton, Robert G. Alberstein, Andrew M. Watkins, Richard Bonneau, Vladimir Gligorijevi, Kyunghyun Cho, Nathan C. Frey,
• Abstract要約: 大規模言語モデル(LLM)は、最近、様々な生物学的タスクにおいて大きな可能性を示している。 本研究では,LLMを高度に制約された二レベル最適化として活用する可能性について検討する。 本稿では,報酬分布と基準分布を円滑に補間する新たなトレーニング目標であるMargin-Aligned expectation (MargE)を提案する。
• 参考スコア（独自算出の注目度）: 36.32135215158242
• License:
• Abstract: Large language models (LLMs) have recently shown significant potential in various biological tasks such as protein engineering and molecule design. These tasks typically involve black-box discrete sequence optimization, where the challenge lies in generating sequences that are not only biologically feasible but also adhere to hard fine-grained constraints. However, LLMs often struggle with such constraints, especially in biological contexts where verifying candidate solutions is costly and time-consuming. In this study, we explore the possibility of employing LLMs as highly-constrained bilevel optimizers through a methodology we refer to as Language Model Optimization with Margin Expectation (LLOME). This approach combines both offline and online optimization, utilizing limited oracle evaluations to iteratively enhance the sequences generated by the LLM. We additionally propose a novel training objective -- Margin-Aligned Expectation (MargE) -- that trains the LLM to smoothly interpolate between the reward and reference distributions. Lastly, we introduce a synthetic test suite that bears strong geometric similarity to real biophysical problems and enables rapid evaluation of LLM optimizers without time-consuming lab validation. Our findings reveal that, in comparison to genetic algorithm baselines, LLMs achieve significantly lower regret solutions while requiring fewer test function evaluations. However, we also observe that LLMs exhibit moderate miscalibration, are susceptible to generator collapse, and have difficulty finding the optimal solution when no explicit ground truth rewards are available.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、タンパク質工学や分子設計といった様々な生物学的タスクにおいて大きな可能性を示している。 これらのタスクは通常、ブラックボックスの離散シーケンス最適化にかかわる。そこでは、生物学的に実現可能なだけでなく、きめ細かい制約に固執するシーケンスを生成するのが課題である。 しかし、LSMはそのような制約に悩まされることが多く、特に、候補解の検証がコストと時間を要する生物学的文脈においてである。 本研究では,言語モデル最適化をLLOME(Language Model Optimization with Margin expectation)と呼ぶ手法を用いて,LLMを高度に制約された二段階最適化器として採用する可能性を検討する。 このアプローチは、限定されたオラクル評価を利用して、オフラインとオンラインの両方の最適化を組み合わせることで、LLMが生成したシーケンスを反復的に強化する。 また,報酬分布と基準分布を円滑に補間する新たなトレーニング目標であるMargin-Aligned expectation (MargE)を提案する。 最後に, 実生物理問題と幾何的類似性を強く有する合成試験スイートを導入し, 実験室の検証に時間を要することなく, LLMオプティマイザの迅速な評価を可能にした。 以上の結果から,LLMは遺伝的アルゴリズムのベースラインと比較して,試験関数の評価を少なくしながら,後悔解を著しく低めることが判明した。 しかし, LLM は中等度な誤校正を示し, 発生源崩壊の影響を受けやすく, 明確な真理の報奨が得られない場合, 最適解を見つけるのが困難であることも確認できた。

関連論文リスト

• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なタスクで顕著な成功を収めたため、人気が高まっている。 しかしながら、個々のLLMは、トレーニングバイアス、モデルサイズ、使用されるデータセットなどの要因のために、複雑なタスクに適用する場合に制限がある。 本稿では,入力クエリを大規模プールからLLMの最も適切なサブセットに誘導する新しいアルゴリズムであるSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Extracting Heuristics from Large Language Models for Reward Shaping in Reinforcement Learning [28.077228879886402]
  強化学習(Reinforcement Learning, RL)は、報酬領域におけるサンプルの非効率性に悩まされ、移行時にはさらにその問題が顕著になる。 サンプル効率を改善するために、報酬形成はRLエージェントが最適なポリシーに迅速に収束するのに役立つ本質的な報酬を導入するためのよく研究されたアプローチである。
  論文  参考訳（メタデータ） (2024-05-24T03:53:57Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• Large Language Model-Aided Evolutionary Search for Constrained Multiobjective Optimization [15.476478159958416]
  我々は,制約付き多目的最適化問題に対する進化探索を強化するために,大規模言語モデル(LLM)を用いる。 私たちの目標は、進化の集団の収束を早めることです。
  論文  参考訳（メタデータ） (2024-05-09T13:44:04Z)
• Exploring the True Potential: Evaluating the Black-box Optimization Capability of Large Language Models [32.859634302766146]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて例外的な性能を示した。 本稿では,LLMの最適化の可能性について深い知見を提供する。 本研究は,LLMの最適化における限界と利点を明らかにした。
  論文  参考訳（メタデータ） (2024-04-09T13:17:28Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast Self-Adaptation [145.7321032755538]
  L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。 本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
  論文  参考訳（メタデータ） (2023-02-28T19:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。