論文の概要: Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space

• arxiv url: http://arxiv.org/abs/2405.16730v1
• Date: Mon, 27 May 2024 00:11:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 19:35:41.701915
• Title: Latent Energy-Based Odyssey: Black-Box Optimization via Expanded Exploration in the Energy-Based Latent Space
• Title（参考訳）: 潜在エネルギーベースオデュッセイ:エネルギーベース潜在空間における拡張探索によるブラックボックス最適化
• Authors: Peiyu Yu, Dinghuai Zhang, Hengzhi He, Xiaojian Ma, Ruiyao Miao, Yifan Lu, Yasi Zhang, Deqian Kong, Ruiqi Gao, Jianwen Xie, Guang Cheng, Ying Nian Wu,
• Abstract要約: ブラックボックス関数の高次元かつ高マルチモーダルな入力設計空間は、既存の手法に固有の課題をもたらす。 設計値の結合空間の圧縮的かつ正確な表現として機能する潜在空間の発見を検討する。 本稿では, 高精度潜時空間モデルの変分学習のための雑音強調型テレスコープ密度比推定法を提案する。
• 参考スコア（独自算出の注目度）: 65.44449711359724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline Black-Box Optimization (BBO) aims at optimizing a black-box function using the knowledge from a pre-collected offline dataset of function values and corresponding input designs. However, the high-dimensional and highly-multimodal input design space of black-box function pose inherent challenges for most existing methods that model and operate directly upon input designs. These issues include but are not limited to high sample complexity, which relates to inaccurate approximation of black-box function; and insufficient coverage and exploration of input design modes, which leads to suboptimal proposal of new input designs. In this work, we consider finding a latent space that serves as a compressed yet accurate representation of the design-value joint space, enabling effective latent exploration of high-value input design modes. To this end, we formulate an learnable energy-based latent space, and propose Noise-intensified Telescoping density-Ratio Estimation (NTRE) scheme for variational learning of an accurate latent space model without costly Markov Chain Monte Carlo. The optimization process is then exploration of high-value designs guided by the learned energy-based model in the latent space, formulated as gradient-based sampling from a latent-variable-parameterized inverse model. We show that our particular parameterization encourages expanded exploration around high-value design modes, motivated by inversion thinking of a fundamental result of conditional covariance matrix typically used for variance reduction. We observe that our method, backed by an accurately learned informative latent space and an expanding-exploration model design, yields significant improvements over strong previous methods on both synthetic and real world datasets such as the design-bench suite.
• Abstract（参考訳）: Offline Black-Box Optimization (BBO) は、関数値と対応する入力設計のオフラインデータセットから得られた知識を用いてブラックボックス関数を最適化することを目的としている。 しかし、ブラックボックス関数の高次元かつ高マルチモーダルな入力設計空間は、入力設計を直接モデル化し操作する既存のほとんどの方法に固有の課題をもたらす。 これらの問題には、ブラックボックス関数の不正確な近似、入力設計モードのカバーと探索が不十分なことなどが含まれており、新しい入力設計の最適部分の提案につながっている。 本研究では,設計値の結合空間の圧縮的かつ正確な表現として機能する潜時空間の探索を考察し,高値入力設計モードの有効な潜時探索を可能にする。 この目的のために、学習可能なエネルギーベースの潜時空間を定式化し、マルコフ・チェイン・モンテカルロを犠牲にすることなく正確な潜時空間モデルの変分学習のためのノイズ強調テレスコープ密度比推定(NTRE)スキームを提案する。 最適化プロセスは、潜伏空間における学習エネルギーベースモデルによって導かれる高値な設計を探索し、潜伏変数パラメータ化逆モデルから勾配に基づくサンプリングとして定式化する。 このパラメータ化は,主に分散還元に使用される条件共分散行列の基本結果の逆思考を動機として,高値設計モードの探索を促進できることを示す。 提案手法は, 高精度に学習された潜伏空間と拡張探索モデル設計によって支援され, 設計ベンチスイートなどの合成および実世界のデータセットにおいて, 従来の手法よりも大幅に改善されていることが観察された。

関連論文リスト

• HRVMamba: High-Resolution Visual State Space Model for Dense Prediction [60.80423207808076]
  効率的なハードウェアを意識した設計のステートスペースモデル(SSM)は、コンピュータビジョンタスクにおいて大きな可能性を証明している。 これらのモデルは、誘導バイアスの不足、長距離の忘れ、低解像度の出力表現の3つの主要な課題によって制約されている。 本稿では, 変形可能な畳み込みを利用して, 長距離忘れ問題を緩和する動的ビジュアル状態空間(DVSS)ブロックを提案する。 また,DVSSブロックに基づく高分解能視覚空間モデル(HRVMamba)を導入し,プロセス全体を通して高分解能表現を保存する。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• Diff-BBO: Diffusion-Based Inverse Modeling for Black-Box Optimization [20.45482366024264]
  Black-box Optimization (BBO) は、ブラックボックスのオラクルをサンプル効率よく反復的にクエリすることで、目的関数を最適化することを目的としている。 対象空間を条件付き拡散モデルで設計空間にマッピングする最近の逆モデリング手法は、データ多様体を学習する際の印象的な能力を実証している。 オンラインBBO問題に対する拡散モデルを利用した逆アプローチであるDiff-BBOを提案する。
  論文  参考訳（メタデータ） (2024-06-30T06:58:31Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Compositional Generative Inverse Design [69.22782875567547]
  入力変数を設計して目的関数を最適化する逆設計は重要な問題である。 拡散モデルにより得られた学習エネルギー関数を最適化することにより、そのような逆例を避けることができることを示す。 N-body 相互作用タスクと2次元多面体設計タスクにおいて,実験時に学習した拡散モデルを構成することにより,初期状態と境界形状を設計できることを示す。
  論文  参考訳（メタデータ） (2024-01-24T01:33:39Z)
• ROMO: Retrieval-enhanced Offline Model-based Optimization [14.277672372460785]
  データ駆動型ブラックボックスモデルベース最適化(MBO)の問題は、多くの実用的なアプリケーションシナリオで発生します。 検索強化オフラインモデルベース最適化(ROMO)を提案する。 ROMOは実装が簡単で、CoMBO設定における最先端のアプローチよりも優れている。
  論文  参考訳（メタデータ） (2023-10-11T15:04:33Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
  高精度な単分子深度推定には長距離相関が不可欠である。 我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。 提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
  論文  参考訳（メタデータ） (2022-03-27T05:03:56Z)
• Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces [27.989924313988016]
  我々は、高価なブラックボックス関数評価を用いて、空間(シーケンス、ツリー、グラフなど)を最適化する問題を考察する。 空間に対する最近のBOアプローチは、構造体の潜在表現を学習することで連続空間上のBOへの還元である。 本稿では,この欠点を克服するための原則的アプローチであるLADDERを提案する。
  論文  参考訳（メタデータ） (2021-11-01T18:26:22Z)
• A Hybrid Gradient Method to Designing Bayesian Experiments for Implicit Models [3.437223569602425]
  最適設計は通常、データとモデルパラメータ間の相互情報(MI)を最大化することで達成される。 例えば、抽出可能なデータ分布を持つ暗黙のモデルを持つMIの分析式が利用できない場合、最近、MIのニューラルネットワークに基づく下界が提案され、下界を最大化するために勾配上昇法が用いられた。 分散MI推定器と進化戦略(ES)の最近の進歩と、ブラックボックス勾配上昇(SGA)を組み合わせ、MI下界を最大化するハイブリッドアプローチを提案します。
  論文  参考訳（メタデータ） (2021-03-14T21:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。