論文の概要: Bayesian Optimization of Catalysts With In-context Learning
- arxiv url: http://arxiv.org/abs/2304.05341v1
- Date: Tue, 11 Apr 2023 17:00:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 14:07:25.791889
- Title: Bayesian Optimization of Catalysts With In-context Learning
- Title(参考訳): 文脈内学習による触媒のベイズ最適化
- Authors: Mayk Caldas Ramos, Shane S. Michtavy, Marc D. Porosoff, Andrew D.
White
- Abstract要約: 大規模言語モデル(LLM)は、ゼロまたは少数の例で正確な分類を行うことができる。
凍結LLMを用いた文脈内学習において,不確実性を伴う回帰を可能にするプロンプトシステムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are able to do accurate classification with zero
or only a few examples (in-context learning). We show a prompting system that
enables regression with uncertainty for in-context learning with frozen LLM
(GPT-3, GPT-3.5, and GPT-4) models, allowing predictions without features or
architecture tuning. By incorporating uncertainty, our approach enables
Bayesian optimization for catalyst or molecule optimization using natural
language, eliminating the need for training or simulation. Here, we performed
the optimization using the synthesis procedure of catalysts to predict
properties. Working with natural language mitigates difficulty synthesizability
since the literal synthesis procedure is the model's input. We showed that
in-context learning could improve past a model context window (maximum number
of tokens the model can process at once) as data is gathered via example
selection, allowing the model to scale better. Although our method does not
outperform all baselines, it requires zero training, feature selection, and
minimal computing while maintaining satisfactory performance. We also find
Gaussian Process Regression on text embeddings is strong at Bayesian
optimization. The code is available in our GitHub repository:
https://github.com/ur-whitelab/BO-LIFT
- Abstract(参考訳): 大規模言語モデル(LLM)は、ゼロまたは少数の例(コンテキスト学習)で正確な分類を行うことができる。
凍結LLM(GPT-3, GPT-3.5, GPT-4)モデルを用いた文脈内学習における不確実性を考慮した回帰処理システムを提案する。
不確実性を取り入れることで、自然言語を用いた触媒や分子最適化のベイズ最適化が可能となり、訓練やシミュレーションの必要がなくなる。
そこで, 触媒の合成法を用いて, 特性予測のための最適化を行った。
自然言語の操作は、リテラル合成手順がモデルの入力であるため、難易度を緩和する。
サンプル選択によってデータが収集されることにより、モデルコンテキストウィンドウ(モデルが一度に処理できるトークンの最大数)を越えて、コンテキスト内学習が改善されることを示した。
提案手法は全てのベースラインに勝るわけではないが, 良好な性能を維持しつつ, トレーニング, 特徴選択, 最小限の計算を必要とする。
また,テキスト埋め込みにおけるガウス過程回帰はベイズ最適化において強い。
コードはgithubリポジトリで利用可能です。 https://github.com/ur-whitelab/bo-lift
関連論文リスト
- Data-driven Prior Learning for Bayesian Optimisation [5.844015313757267]
PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。
学習先を検証し,伝達学習手法の広さと比較する。
PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。
論文 参考訳(メタデータ) (2023-11-24T18:37:52Z) - Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised
Language Understanding [38.11411155621616]
我々は,主に半教師あり学習の手法として,自己学習について研究している。
我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。
UPETは性能と効率の面で大幅に向上したことを示す。
論文 参考訳(メタデータ) (2023-10-19T02:18:29Z) - Learning to Optimize Quasi-Newton Methods [22.504971951262004]
本稿では、最適化時に最適な事前条件をオンラインで学習するLODOと呼ばれる新しい機械学習を提案する。
他のL2Oメソッドとは異なり、LODOはトレーニングタスクの配布にメタトレーニングを一切必要としない。
この勾配は, 雑音場における逆 Hessian を近似し, 幅広い逆 Hessian を表現可能であることを示す。
論文 参考訳(メタデータ) (2022-10-11T03:47:14Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳(メタデータ) (2022-03-19T13:39:49Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳(メタデータ) (2021-02-16T11:45:35Z) - AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。
提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
論文 参考訳(メタデータ) (2020-08-16T11:36:11Z) - Continuous Optimization Benchmarks by Simulation [0.0]
最適化アルゴリズムのテスト、比較、チューニング、理解にはベンチマーク実験が必要である。
以前の評価から得られたデータは、ベンチマークに使用される代理モデルのトレーニングに使用することができる。
本研究では,スペクトルシミュレーションにより連続最適化問題のシミュレーションが可能であることを示す。
論文 参考訳(メタデータ) (2020-08-14T08:50:57Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2~5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳(メタデータ) (2020-02-04T20:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。