論文の概要: Large language models as uncertainty-calibrated optimizers for experimental discovery

• arxiv url: http://arxiv.org/abs/2504.06265v3
• Date: Fri, 07 Nov 2025 17:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 14:53:49.410075
• Title: Large language models as uncertainty-calibrated optimizers for experimental discovery
• Title（参考訳）: 実験的発見のための不確実性校正オプティマイザとしての大規模言語モデル
• Authors: Bojana Ranković, Ryan-Rhys Griffiths, Philippe Schwaller,
• Abstract要約: 本稿では,従来の最適化手法の不確実性を考慮した言語モデルのトレーニングにより,自然言語インタフェースによる信頼度向上が実現可能であることを示す。 提案手法は, 高収率反応条件の発見率を24%から43%にほぼ倍増させる。
• 参考スコア（独自算出の注目度）: 4.968931211284832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific discovery increasingly depends on efficient experimental optimization to navigate vast design spaces under time and resource constraints. Traditional approaches often require extensive domain expertise and feature engineering. While large language models, with their vast scientific knowledge, circumvent the feature engineering limitations, they lack the calibrated uncertainty estimates required for high-stakes decision making. Hence, current optimization methods force a choice between domain knowledge and reliability, with no principled approach that affords both. In this work, we show that training language models through the uncertainty-aware objectives of traditional optimization methods enables their use as reliable optimizers guided by natural language. By teaching LLMs from experimental outcomes under uncertainty, we transform their overconfidence from a fundamental limitation into a precise calibration mechanism. Applied to Buchwald-Hartwig reactions, a cornerstone of pharmaceutical synthesis, our method nearly doubles the discovery rate of high-yielding reaction conditions, from 24% to 43% in 50 experimental iterations starting from 10 unsuccessful conditions. Across 19 diverse optimization problems spanning organic synthesis, materials science and catalysis, process chemistry, and molecular design, our approach ranks first on average, establishing a new paradigm for reliable, uncertainty-guided optimization with LLMs. Our approach can accelerate discovery by lowering the barrier to using powerful optimization methods, replacing the need for domain-specific feature engineering with more accessible natural language interfaces. These findings highlight that ensuring reliability through principled uncertainty quantification is critical for realizing the full potential of AI-guided experimentation.
• Abstract（参考訳）: 科学的発見は、時間と資源の制約の下で広大な設計空間をナビゲートするための効率的な実験的な最適化にますます依存している。 従来のアプローチはドメインの専門知識と機能エンジニアリングを必要とすることが多い。 大きな言語モデルは、その膨大な科学的知識により、特徴工学の限界を回避できるが、高い意思決定に必要な不確実性評価のキャリブレーションを欠いている。 したがって、現在の最適化手法はドメイン知識と信頼性の選択を強制します。 本研究では,従来の最適化手法の不確実性を考慮した言語モデルの学習により,自然言語でガイドされる信頼性の高い最適化手法としての利用が可能であることを示す。 不確実性の下で実験結果からLSMを教えることで、その過信を基本的な限界から正確な校正機構に変換する。 製薬合成の基礎となるBuchwald-Hartwig反応に応用し, 10回の試験から50回の試験において, 高収率反応条件の発見率は24%から43%にほぼ倍増した。 有機合成, 材料科学, 触媒学, プロセス化学, 分子設計にまたがる19の多様な最適化問題に対して, 本手法は, LLMを用いた信頼性, 不確実性の最適化のための新しいパラダイムを確立した。 提案手法は、ドメイン固有の機能エンジニアリングを、よりアクセスしやすい自然言語インターフェースに置き換えることで、強力な最適化手法を使用する際の障壁を低くすることで、発見を加速することができる。 これらの知見は、AI誘導実験の完全な可能性を実現するためには、原則化された不確実性定量化による信頼性確保が重要であることを強調している。

関連論文リスト

• Divide, Optimize, Merge: Fine-Grained LLM Agent Optimization at Scale [19.60416591361918]
  Fine-Grained Optimization (FGO)は、大規模最適化タスクを管理可能なサブセットに分割し、ターゲット最適化を実行し、プログレッシブマージを通じて最適化されたコンポーネントを体系的に結合するスケーラブルなフレームワークである。 ALFWorld、LogisticsQA、GAIAベンチマークによる評価では、FGOは既存のアプローチを1.6-8.6%上回り、平均的なプロンプトトークン消費量を56.3%削減している。
  論文  参考訳（メタデータ） (2025-05-06T20:50:27Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [42.362388367152256]
  大規模言語モデル(LLM)は、LoRAを使用してパラメータ効率の良いCode Llamaを微調整するために使用される。 提案手法は,演算オーバーヘッドを著しく低減しつつ,ルート平均角誤差(RMSE)の点で競争力や優位性を実現する。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• Make Optimization Once and for All with Fine-grained Guidance [78.14885351827232]
  Learning to Optimize (L2O)は、統合ニューラルネットワークによる最適化効率を向上させる。 L2Oパラダイムは、例えば、リフィット、目に見えない解決策を反復的または直接的に生成するなど、大きな成果を達成する。 そこで本研究では,Diff-L2Oと呼ばれる学習最適化のための一般的なフレームワークについて検討した。
  論文  参考訳（メタデータ） (2025-03-14T14:48:12Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
  最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。 現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。 我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
  論文  参考訳（メタデータ） (2023-02-22T01:17:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。