論文の概要: Cliqueformer: Model-Based Optimization with Structured Transformers

• arxiv url: http://arxiv.org/abs/2410.13106v1
• Date: Thu, 17 Oct 2024 00:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:15.956643
• Title: Cliqueformer: Model-Based Optimization with Structured Transformers
• Title（参考訳）: Cliqueformer:構造化トランスを用いたモデルベース最適化
• Authors: Jakub Grudzien Kuba, Pieter Abbeel, Sergey Levine,
• Abstract要約: 我々は、MBOタスクの構造を学習し、経験的に改良された設計につながるモデルを開発する。 我々はCliqueformerを、高次元のブラックボックス機能から、化学・遺伝設計の現実的なタスクまで、様々なタスクで評価する。
• 参考スコア（独自算出の注目度）: 102.55764949282906
• License:
• Abstract: Expressive large-scale neural networks enable training powerful models for prediction tasks. However, in many engineering and science domains, such models are intended to be used not just for prediction, but for design -- e.g., creating new proteins that serve as effective therapeutics, or creating new materials or chemicals that maximize a downstream performance measure. Thus, researchers have recently grown an interest in building deep learning methods that solve offline \emph{model-based optimization} (MBO) problems, in which design candidates are optimized with respect to surrogate models learned from offline data. However, straightforward application of predictive models that are effective at predicting in-distribution properties of a design are not necessarily the best suited for use in creating new designs. Thus, the most successful algorithms that tackle MBO draw inspiration from reinforcement learning and generative modeling to meet the in-distribution constraints. Meanwhile, recent theoretical works have observed that exploiting the structure of the target black-box function is an effective strategy for solving MBO from offline data. Unfortunately, discovering such structure remains an open problem. In this paper, following first principles, we develop a model that learns the structure of an MBO task and empirically leads to improved designs. To this end, we introduce \emph{Cliqueformer} -- a scalable transformer-based architecture that learns the black-box function's structure in the form of its \emph{functional graphical model} (FGM), thus bypassing the problem of distribution shift, previously tackled by conservative approaches. We evaluate Cliqueformer on various tasks, ranging from high-dimensional black-box functions from MBO literature to real-world tasks of chemical and genetic design, consistently demonstrating its state-of-the-art performance.
• Abstract（参考訳）: 表現力のある大規模ニューラルネットワークは、予測タスクのための強力なモデルのトレーニングを可能にする。 しかし、多くの工学や科学分野において、そのようなモデルは予測だけでなく、デザインにも使われることを意図しており、例えば、効果的な治療法として機能する新しいタンパク質を作る、あるいは下流のパフォーマンスを最大化する新しい材料や化学物質を作るなどである。 このように、研究者は最近、オフラインデータから得られたサロゲートモデルに対して設計候補を最適化するオフラインの 'emph{model-based optimization} (MBO) 問題を解決するディープラーニング手法の構築に関心を寄せている。 しかし、設計の流通特性を予測するのに有効な予測モデルの直接的な応用は、必ずしも新しい設計を作成するのに最適なものではない。 したがって、MBOに取り組む最も成功したアルゴリズムは、分配制約を満たすために強化学習と生成モデルからインスピレーションを得ている。 一方、近年の理論的研究により、対象のブラックボックス関数の構造を活用することが、オフラインデータからMBOを解決する効果的な戦略であることがわかった。 残念ながら、そのような構造を発見することは未解決の問題である。 本稿では,まず,MBOタスクの構造を学習し,設計の改善を実証的に導くモデルを開発する。 この目的のために、我々は、スケーラブルなトランスフォーマーベースのアーキテクチャである \emph{Cliqueformer} を導入し、その \emph{ functional graphical model} (FGM) の形でブラックボックス関数の構造を学習する。 我々はCliqueformerをMBO文学の高次元ブラックボックス機能から化学・遺伝子設計の現実的なタスクまで様々なタスクで評価し、その最先端性能を一貫して実証した。

関連論文リスト

• Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders [2.0701439270461184]
  事前学習された生成分子設計モデルにとって重要な課題は、下流の設計タスクに適するように微調整することである。 本研究では,生成不確実性デコーダ(VAE)に基づくGMDモデルに対して,アクティブな環境下での性能フィードバックによる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-31T02:00:25Z)
• Diffusion Model for Data-Driven Black-Box Optimization [54.25693582870226]
  我々は、強力な生成AI技術である拡散モデルに注目し、ブラックボックス最適化の可能性について検討する。 本研究では,1)実数値報酬関数のノイズ測定と,2)対比較に基づく人間の嗜好の2種類のラベルについて検討する。 提案手法は,設計最適化問題を条件付きサンプリング問題に再構成し,拡散モデルのパワーを有効活用する。
  論文  参考訳（メタデータ） (2024-03-20T00:41:12Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
  本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。 実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。 Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-05-30T16:55:59Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。