論文の概要: Position Paper: Leveraging Foundational Models for Black-Box Optimization: Benefits, Challenges, and Future Directions
- arxiv url: http://arxiv.org/abs/2405.03547v1
- Date: Mon, 6 May 2024 15:10:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 13:17:10.002632
- Title: Position Paper: Leveraging Foundational Models for Black-Box Optimization: Benefits, Challenges, and Future Directions
- Title（参考訳）: ポジションペーパー:ブラックボックス最適化のための基礎モデルを活用する:メリット,課題,今後の方向性
- Authors: Xingyou Song, Yingtao Tian, Robert Tjarko Lange, Chansoo Lee, Yujin Tang, Yutian Chen,
- Abstract要約: 大規模言語モデル(LLM)は、機械学習研究領域における驚くべきイノベーションの波をかき立てている。
基礎言語モデルが最適化に革命をもたらす最も有望な方法について論じる。
- 参考スコア（独自算出の注目度）: 19.583955195098497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Undeniably, Large Language Models (LLMs) have stirred an extraordinary wave of innovation in the machine learning research domain, resulting in substantial impact across diverse fields such as reinforcement learning, robotics, and computer vision. Their incorporation has been rapid and transformative, marking a significant paradigm shift in the field of machine learning research. However, the field of experimental design, grounded on black-box optimization, has been much less affected by such a paradigm shift, even though integrating LLMs with optimization presents a unique landscape ripe for exploration. In this position paper, we frame the field of black-box optimization around sequence-based foundation models and organize their relationship with previous literature. We discuss the most promising ways foundational language models can revolutionize optimization, which include harnessing the vast wealth of information encapsulated in free-form text to enrich task comprehension, utilizing highly flexible sequence models such as Transformers to engineer superior optimization strategies, and enhancing performance prediction over previously unseen search spaces.
- Abstract（参考訳）: 当然のことながら、Large Language Models(LLM)は機械学習研究領域における驚くべきイノベーションの波を呼び起こし、強化学習、ロボティクス、コンピュータビジョンといった様々な分野に多大な影響を与えている。
彼らの組織化は迅速かつ変革的であり、機械学習研究の分野における重要なパラダイムシフトを象徴している。
しかし, ブラックボックス最適化を基礎とした実験設計の分野は, LLMと最適化を統合することで, 探索にユニークなランドスケープが現れるにもかかわらず, これほどのパラダイムシフトの影響を受けていない。
本稿では,シーケンスベース基礎モデルに関するブラックボックス最適化の分野を定式化し,それらと過去の文献との関係を整理する。
本稿では,自由形式テキストにカプセル化されている膨大な情報を活用し,タスク理解を深めること,トランスフォーマーなどの高度に柔軟なシーケンスモデルを利用して優れた最適化戦略を設計すること,これまで見つからなかった検索空間の性能予測を向上することなど,基礎言語モデルが最適化に革命をもたらす最も有望な方法について論じる。
関連論文リスト
- Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳（メタデータ） (2024-03-20T00:41:12Z) - Large Language Model-Based Evolutionary Optimizer: Reasoning with
elitism [1.1463861912335864]
大規模言語モデル(LLM)は、顕著な推論能力を示している。
本稿では,LLMが様々なシナリオにまたがるゼロショット最適化能力を有していることを主張する。
LLMを用いた数値最適化手法を提案する。
論文 参考訳（メタデータ） (2024-03-04T13:57:37Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z) - Evolutionary Multi-Objective Optimization of Large Language Model
Prompts for Balancing Sentiments [0.0]
EMO-Promptsと呼ばれる迅速な最適化に適した進化的多目的(EMO)アプローチを提案する。
EMO-Prompts は,2つの矛盾する感情を同時に表わしたテキストを生成するために LLM を誘導できるプロンプトを効果的に生成することを示した。
論文 参考訳（メタデータ） (2024-01-18T10:21:15Z) - Uncovering mesa-optimization algorithms in Transformers [27.180287282321576]
トランスフォーマーの強い性能は、アーキテクチャ上のバイアスからメザ最適化に起因していることを示す。
本稿では,コンテキストに規定された最適化問題を明確かつ効率的に解決する,新たな自己注意層であるメザ層を提案する。
論文 参考訳（メタデータ） (2023-09-11T22:42:50Z) - Large Language and Text-to-3D Models for Engineering Design Optimization [0.1740313383876245]
工学領域における深層テキストから3Dモデルの可能性について検討する。
空力車両最適化の文脈において,OpenAIによるテキスト・ツー・3Dアセット・ネットワークであるShap-Eを用いる。
論文 参考訳（メタデータ） (2023-07-03T07:54:09Z) - Aligning Optimization Trajectories with Diffusion Models for Constrained
Design Generation [17.164961143132473]
本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。
提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。
この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
論文 参考訳（メタデータ） (2023-05-29T09:16:07Z) - Large Scale Mask Optimization Via Convolutional Fourier Neural Operator
and Litho-Guided Self Training [54.16367467777526]
マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。
機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
論文 参考訳（メタデータ） (2022-07-08T16:39:31Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。
本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文 参考訳（メタデータ） (2020-09-14T20:38:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。