Fugu-MT 論文翻訳(概要): Bayesian Optimization of Catalysis With In-Context Learning

論文の概要: Bayesian Optimization of Catalysis With In-Context Learning

arxiv url: http://arxiv.org/abs/2304.05341v2
Date: Thu, 15 May 2025 00:12:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-18 16:36:57.39667
Title: Bayesian Optimization of Catalysis With In-Context Learning
Title（参考訳）: 文脈内学習による解析のベイズ最適化
Authors: Mayk Caldas Ramos, Shane S. Michtavy, Marc D. Porosoff, Andrew D. White,
Abstract要約: 大規模言語モデル(LLM)は、文脈内学習によってゼロまたは少数例で正確な分類を行うことができる。凍結LDMを用いた不確実性推定により、この能力を回帰に拡張する。本研究では, 実験触媒と試験手順を自然言語のプロンプトとして表現し, 材料発見に適用する。
参考スコア（独自算出の注目度）: 0.6576679530536251
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) can perform accurate classification with zero or few examples through in-context learning. We extend this capability to regression with uncertainty estimation using frozen LLMs (e.g., GPT-3.5, Gemini), enabling Bayesian optimization (BO) in natural language without explicit model training or feature engineering. We apply this to materials discovery by representing experimental catalyst synthesis and testing procedures as natural language prompts. A key challenge in materials discovery is the need to characterize suboptimal candidates, which slows progress. While BO is effective for navigating large design spaces, standard surrogate models like Gaussian processes assume smoothness and continuity, an assumption that fails in highly non-linear domains such as heterogeneous catalysis. Our task-agnostic BO workflow overcomes this by operating directly in language space, producing interpretable and actionable predictions without requiring structural or electronic descriptors. On benchmarks like aqueous solubility and oxidative coupling of methane (OCM), BO-ICL matches or outperforms Gaussian processes. In live experiments on the reverse water-gas shift (RWGS) reaction, BO-ICL identifies near-optimal multi-metallic catalysts within six iterations from a pool of 3,700 candidates. Our method redefines materials representation and accelerates discovery, with broad applications across catalysis, materials science, and AI. Code: https://github.com/ur-whitelab/BO-ICL.
Abstract（参考訳）: 大規模言語モデル(LLM)は、文脈内学習によってゼロまたは少数例で正確な分類を行うことができる。我々は,凍結LDM(例えば GPT-3.5, Gemini)を用いた不確実性推定による回帰に拡張し,自然言語によるベイズ最適化(BO)を明示的なモデルトレーニングや特徴工学なしに実現した。実験的な触媒合成と試験手順を自然言語のプロンプトとして表現することで材料発見に適用する。材料発見における重要な課題は、最適以下の候補を特徴づける必要性である。 BOは大きな設計空間をナビゲートするのに有効であるが、ガウス過程のような標準的な代理モデルは滑らかさと連続性を仮定する。タスクに依存しないBOワークフローは、言語空間で直接操作することでこれを克服し、構造記述子や電子記述子を必要とせずに解釈可能かつ実行可能な予測を生成する。メタン (OCM) の水溶液溶解度や酸化カップリングのようなベンチマークでは、BO-ICL はガウス過程より優れている。逆水-ガスシフト(RWGS)反応のライブ実験において、BO-ICLは3,700の候補から6回以内に準最適多金属触媒を同定した。本手法は, 物質表現を再定義し, 発見を加速し, 触媒, 材料科学, AIの幅広い応用を行う。コード:https://github.com/ur-whitelab/BO-ICL。

関連論文リスト

Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
新しいテストタイムアライメントアプローチであるQAlignを紹介します。テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
論文参考訳（メタデータ） (2025-04-04T00:41:40Z)
Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。このような問題は医学、物理学、機械学習で発生する。両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文参考訳（メタデータ） (2024-11-21T10:26:17Z)
Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
我々は、高密度事前学習モデルの関数情報を利用して、アクティベーションのアライメントw.r.tを最大化するスパースモデルを得る。我々は,アクティベーション間のニューロンアライメントを最大化するために,ブロックワイドと行ワイドの間隔比を変更するエンフェップアップアルゴリズムであるtextscNeuroAlを提案する。提案手法は,4つの異なるLLMファミリーと3つの異なる空間比で検証し,最新の最先端技術よりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2024-11-11T15:30:16Z)
Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
論文参考訳（メタデータ） (2024-10-22T17:45:47Z)
Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [27.991291785091736]
本研究は、不要なデータの影響を取り除くことを目的として、大規模言語モデル(LLM)アンラーニングの問題を研究する。未学習の需要が増えているにもかかわらず、技術的に地平線を画した最適化フレームワークは欠如している。我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルへの依存をなくすことによる「単純さ」がアンラーニングの恩恵をもたらすことを示した。
論文参考訳（メタデータ） (2024-10-09T17:58:12Z)
OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
論文参考訳（メタデータ） (2024-07-13T13:27:57Z)
AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
論文参考訳（メタデータ） (2023-10-16T09:04:28Z)
Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文参考訳（メタデータ） (2022-10-11T03:47:14Z)
AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文参考訳（メタデータ） (2020-08-16T11:36:11Z)
Continuous Optimization Benchmarks by Simulation [0.0]
最適化アルゴリズムのテスト、比較、チューニング、理解にはベンチマーク実験が必要である。以前の評価から得られたデータは、ベンチマークに使用される代理モデルのトレーニングに使用することができる。本研究では,スペクトルシミュレーションにより連続最適化問題のシミュレーションが可能であることを示す。
論文参考訳（メタデータ） (2020-08-14T08:50:57Z)
Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。提案手法の順序の順序による時間収束を,総じて低減する。
論文参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。