論文の概要: Bayesian Optimization of Catalysts With In-context Learning

• arxiv url: http://arxiv.org/abs/2304.05341v1
• Date: Tue, 11 Apr 2023 17:00:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-12 14:07:25.791889
• Title: Bayesian Optimization of Catalysts With In-context Learning
• Title（参考訳）: 文脈内学習による触媒のベイズ最適化
• Authors: Mayk Caldas Ramos, Shane S. Michtavy, Marc D. Porosoff, Andrew D. White
• Abstract要約: 大規模言語モデル(LLM)は、ゼロまたは少数の例で正確な分類を行うことができる。 凍結LLMを用いた文脈内学習において,不確実性を伴う回帰を可能にするプロンプトシステムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are able to do accurate classification with zero or only a few examples (in-context learning). We show a prompting system that enables regression with uncertainty for in-context learning with frozen LLM (GPT-3, GPT-3.5, and GPT-4) models, allowing predictions without features or architecture tuning. By incorporating uncertainty, our approach enables Bayesian optimization for catalyst or molecule optimization using natural language, eliminating the need for training or simulation. Here, we performed the optimization using the synthesis procedure of catalysts to predict properties. Working with natural language mitigates difficulty synthesizability since the literal synthesis procedure is the model's input. We showed that in-context learning could improve past a model context window (maximum number of tokens the model can process at once) as data is gathered via example selection, allowing the model to scale better. Although our method does not outperform all baselines, it requires zero training, feature selection, and minimal computing while maintaining satisfactory performance. We also find Gaussian Process Regression on text embeddings is strong at Bayesian optimization. The code is available in our GitHub repository: https://github.com/ur-whitelab/BO-LIFT
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ゼロまたは少数の例(コンテキスト学習)で正確な分類を行うことができる。 凍結LLM(GPT-3, GPT-3.5, GPT-4)モデルを用いた文脈内学習における不確実性を考慮した回帰処理システムを提案する。 不確実性を取り入れることで、自然言語を用いた触媒や分子最適化のベイズ最適化が可能となり、訓練やシミュレーションの必要がなくなる。 そこで, 触媒の合成法を用いて, 特性予測のための最適化を行った。 自然言語の操作は、リテラル合成手順がモデルの入力であるため、難易度を緩和する。 サンプル選択によってデータが収集されることにより、モデルコンテキストウィンドウ(モデルが一度に処理できるトークンの最大数)を越えて、コンテキスト内学習が改善されることを示した。 提案手法は全てのベースラインに勝るわけではないが, 良好な性能を維持しつつ, トレーニング, 特徴選択, 最小限の計算を必要とする。 また,テキスト埋め込みにおけるガウス過程回帰はベイズ最適化において強い。 コードはgithubリポジトリで利用可能です。 https://github.com/ur-whitelab/bo-lift

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Zeroth-Order Adaptive Neuron Alignment Based Pruning without Re-Training [3.195234044113248]
  我々は、高密度事前学習モデルの関数情報を利用して、アクティベーションのアライメントw.r.tを最大化するスパースモデルを得る。 我々は,アクティベーション間のニューロンアライメントを最大化するために,ブロックワイドと行ワイドの間隔比を変更するエンフェップアップアルゴリズムであるtextscNeuroAlを提案する。 提案手法は,4つの異なるLLMファミリーと3つの異なる空間比で検証し,最新の最先端技術よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-11T15:30:16Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Learning to Optimize Quasi-Newton Methods [22.504971951262004]
  本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。 他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。 この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
  論文  参考訳（メタデータ） (2022-10-11T03:47:14Z)
• AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
  目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。 提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
  論文  参考訳（メタデータ） (2020-08-16T11:36:11Z)
• Continuous Optimization Benchmarks by Simulation [0.0]
  最適化アルゴリズムのテスト、比較、チューニング、理解にはベンチマーク実験が必要である。 以前の評価から得られたデータは、ベンチマークに使用される代理モデルのトレーニングに使用することができる。 本研究では,スペクトルシミュレーションにより連続最適化問題のシミュレーションが可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T08:50:57Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。