論文の概要: Position: Leverage Foundational Models for Black-Box Optimization
- arxiv url: http://arxiv.org/abs/2405.03547v2
- Date: Thu, 9 May 2024 14:44:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 12:23:27.608052
- Title: Position: Leverage Foundational Models for Black-Box Optimization
- Title（参考訳）: 位置: Black-Box最適化のための基礎モデル
- Authors: Xingyou Song, Yingtao Tian, Robert Tjarko Lange, Chansoo Lee, Yujin Tang, Yutian Chen,
- Abstract要約: 大規模言語モデル(LLM)は、機械学習研究領域における驚くべきイノベーションの波をかき立てている。
基礎言語モデルが最適化に革命をもたらす最も有望な方法について論じる。
- 参考スコア（独自算出の注目度）: 19.583955195098497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Undeniably, Large Language Models (LLMs) have stirred an extraordinary wave of innovation in the machine learning research domain, resulting in substantial impact across diverse fields such as reinforcement learning, robotics, and computer vision. Their incorporation has been rapid and transformative, marking a significant paradigm shift in the field of machine learning research. However, the field of experimental design, grounded on black-box optimization, has been much less affected by such a paradigm shift, even though integrating LLMs with optimization presents a unique landscape ripe for exploration. In this position paper, we frame the field of black-box optimization around sequence-based foundation models and organize their relationship with previous literature. We discuss the most promising ways foundational language models can revolutionize optimization, which include harnessing the vast wealth of information encapsulated in free-form text to enrich task comprehension, utilizing highly flexible sequence models such as Transformers to engineer superior optimization strategies, and enhancing performance prediction over previously unseen search spaces.
- Abstract（参考訳）: 当然のことながら、Large Language Models(LLM)は機械学習研究領域における驚くべきイノベーションの波を呼び起こし、強化学習、ロボティクス、コンピュータビジョンといった様々な分野に多大な影響を与えている。
彼らの組織化は迅速かつ変革的であり、機械学習研究の分野における重要なパラダイムシフトを象徴している。
しかし, ブラックボックス最適化を基礎とした実験設計の分野は, LLMと最適化を統合することで, 探索にユニークなランドスケープが現れるにもかかわらず, これほどのパラダイムシフトの影響を受けていない。
本稿では,シーケンスベース基礎モデルに関するブラックボックス最適化の分野を定式化し,それらと過去の文献との関係を整理する。
本稿では,自由形式テキストにカプセル化されている膨大な情報を活用し,タスク理解を深めること,トランスフォーマーなどの高度に柔軟なシーケンスモデルを利用して優れた最適化戦略を設計すること,これまで見つからなかった検索空間の性能予測を向上することなど,基礎言語モデルが最適化に革命をもたらす最も有望な方法について論じる。
関連論文リスト
- A Survey of Automatic Prompt Engineering: An Optimization Perspective [18.933465526053453]
本稿では,統合最適化理論レンズによる自動プロンプト工学の総合的な研究について紹介する。
我々は離散的かつ連続的でハイブリッドなプロンプト空間上の問題としてプロンプト最適化を定式化する。
制約のある最適化とエージェント指向のプロンプト設計において、未探索のフロンティアを強調した。
論文 参考訳（メタデータ） (2025-02-17T08:48:07Z) - Reward-aware Preference Optimization: A Unified Mathematical Framework for Model Alignment [45.45508377432791]
本稿では、人気のある選好最適化手法を統合する数学的フレームワークであるReward-Aware Preference Optimization (RPO)を紹介する。
RPOは、様々な設計選択の影響を混乱させ、体系的に研究するための構造化されたアプローチを提供する。
そこで我々は,このような設計選択をクリーンかつ直接アブレーションできる新しい実験装置を提案する。
論文 参考訳（メタデータ） (2025-01-31T22:39:04Z) - A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。
これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。
本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
論文 参考訳（メタデータ） (2024-12-18T14:11:15Z) - Cliqueformer: Model-Based Optimization with Structured Transformers [102.55764949282906]
大規模なニューラルネットワークは予測タスクに優れるが、タンパク質工学や材料発見といった設計問題への応用には、オフラインモデルベース最適化(MBO)の問題を解決する必要がある。
機能的グラフィカルモデル(FGM)を用いてブラックボックス関数の構造を学習するトランスフォーマーベースのアーキテクチャであるCliqueformerを提案する。
化学および遺伝子設計タスクを含む様々な領域において、Cliqueformerは既存の方法よりも優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-17T00:35:47Z) - Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。
本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。
提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
論文 参考訳（メタデータ） (2024-03-20T00:41:12Z) - Evolutionary Multi-Objective Optimization of Large Language Model
Prompts for Balancing Sentiments [0.0]
EMO-Promptsと呼ばれる迅速な最適化に適した進化的多目的(EMO)アプローチを提案する。
EMO-Prompts は,2つの矛盾する感情を同時に表わしたテキストを生成するために LLM を誘導できるプロンプトを効果的に生成することを示した。
論文 参考訳（メタデータ） (2024-01-18T10:21:15Z) - Large Language and Text-to-3D Models for Engineering Design Optimization [0.1740313383876245]
工学領域における深層テキストから3Dモデルの可能性について検討する。
空力車両最適化の文脈において,OpenAIによるテキスト・ツー・3Dアセット・ネットワークであるShap-Eを用いる。
論文 参考訳（メタデータ） (2023-07-03T07:54:09Z) - Aligning Optimization Trajectories with Diffusion Models for Constrained
Design Generation [17.164961143132473]
本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。
提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。
この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
論文 参考訳（メタデータ） (2023-05-29T09:16:07Z) - Large Scale Mask Optimization Via Convolutional Fourier Neural Operator
and Litho-Guided Self Training [54.16367467777526]
マスクタスクを効率的に学習できる畳み込みニューラルネットワーク(CFCF)を提案する。
機械学習ベースのフレームワークが初めて、最先端の数値マスクデータセットを上回った。
論文 参考訳（メタデータ） (2022-07-08T16:39:31Z) - Optimization-Inspired Learning with Architecture Augmentations and
Control Mechanisms for Low-Level Vision [74.9260745577362]
本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。
フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。
低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
論文 参考訳（メタデータ） (2020-12-10T03:24:53Z) - Efficient Transformers: A Survey [98.23264445730645]
トランスフォーマーモデルアーキテクチャは、言語、ビジョン、強化学習など、さまざまな領域で有効性があるため、近年大きな関心を集めている。
本稿では,最近の「X-former」モデルの大規模かつ思慮深い選択を特徴付ける。
論文 参考訳（メタデータ） (2020-09-14T20:38:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。