論文の概要: Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows
with Applications to Protein Co-Design
- arxiv url: http://arxiv.org/abs/2402.04997v1
- Date: Wed, 7 Feb 2024 16:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 14:24:17.007597
- Title: Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows
with Applications to Protein Co-Design
- Title(参考訳): 離散状態空間上の生成フロー:マルチモーダルフローの実現とタンパク質共設計への応用
- Authors: Andrew Campbell, Jason Yim, Regina Barzilay, Tom Rainforth, Tommi
Jaakkola
- Abstract要約: 本稿では、フローベース生成モデルの実現に欠落したリンクを提供する離散データのフローベースモデルを提案する。
私たちの重要な洞察は、連続時間マルコフ連鎖を用いて連続空間フローマッチングの離散的等価性を実現できるということです。
この能力をタンパク質共設計のタスクに適用し、タンパク質の構造と配列を共同生成するモデルを学ぶ。
- 参考スコア(独自算出の注目度): 40.37559038006005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Combining discrete and continuous data is an important capability for
generative models. We present Discrete Flow Models (DFMs), a new flow-based
model of discrete data that provides the missing link in enabling flow-based
generative models to be applied to multimodal continuous and discrete data
problems. Our key insight is that the discrete equivalent of continuous space
flow matching can be realized using Continuous Time Markov Chains. DFMs benefit
from a simple derivation that includes discrete diffusion models as a specific
instance while allowing improved performance over existing diffusion-based
approaches. We utilize our DFMs method to build a multimodal flow-based
modeling framework. We apply this capability to the task of protein co-design,
wherein we learn a model for jointly generating protein structure and sequence.
Our approach achieves state-of-the-art co-design performance while allowing the
same multimodal model to be used for flexible generation of the sequence or
structure.
- Abstract(参考訳): 離散データと連続データの組み合わせは、生成モデルにとって重要な機能である。
本稿では,マルチモーダル連続および離散データ問題に対してフローベース生成モデルを適用する際に欠落リンクを提供する離散データの新しいフローベースモデルである離散フローモデル(dfms)を提案する。
我々の重要な洞察は、連続空間フローマッチングの離散等価性は、連続時間マルコフ連鎖を用いて実現できるということである。
dfmsは、特定のインスタンスとして離散拡散モデルを含む単純な導出により、既存の拡散ベースのアプローチよりもパフォーマンスが向上する。
我々はDFM法を用いてマルチモーダルフローに基づくモデリングフレームワークを構築する。
この機能をタンパク質共設計のタスクに適用し、タンパク質構造と配列を協調的に生成するモデルを学ぶ。
提案手法は,同じマルチモーダルモデルを用いてシーケンスや構造を柔軟に生成しながら,最先端の協調設計性能を実現する。
関連論文リスト
- Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - Generative Modeling with Phase Stochastic Bridges [52.919600985186996]
拡散モデル(DM)は、連続入力のための最先端の生成モデルを表す。
我々はtextbfphase space dynamics に基づく新しい生成モデリングフレームワークを提案する。
我々のフレームワークは、動的伝播の初期段階において、現実的なデータポイントを生成する能力を示す。
論文 参考訳(メタデータ) (2023-10-11T18:38:28Z) - A Reparameterized Discrete Diffusion Model for Text Generation [42.620568198168826]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。
離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。
本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文 参考訳(メタデータ) (2023-02-11T16:26:57Z) - Learning Sequential Latent Variable Models from Multimodal Time Series
Data [6.107812768939553]
マルチモーダルデータの確率的潜在状態表現を協調的に学習するための自己教師付き生成モデリングフレームワークを提案する。
提案手法が予測品質と表現品質を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2022-04-21T21:59:24Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Generative Flows with Invertible Attentions [135.23766216657745]
生成フローモデルに対する2種類の非可逆的注意機構を導入する。
フロー特徴写像の2分割毎に注意重みと入力表現を学習するために,分割に基づく注意機構を利用する。
提案手法は, トラクタブルジャコビアン行列を用いた非可逆アテンションモジュールをフローベースモデルの任意の位置にシームレスに統合する。
論文 参考訳(メタデータ) (2021-06-07T20:43:04Z) - Flow-based Spatio-Temporal Structured Prediction of Motion Dynamics [21.24885597341643]
条件付き流れ (CNF) は、高次元と相互相関を持つ複雑な分布を表現できるフレキシブルな生成モデルである。
本研究では,時間的入力特徴の出力を自己回帰的に正規化する新しい手法としてMotionFlowを提案する。
本稿では,予測,動き予測時系列予測,二分節分割などのタスクに本手法を適用した。
論文 参考訳(メタデータ) (2021-04-09T14:30:35Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z) - Modeling Continuous Stochastic Processes with Dynamic Normalizing Flows [40.9137348900942]
ウィナー過程の微分変形によって駆動される新しいタイプの流れを提案する。
その結果,観測可能なプロセスが基本プロセスの魅力的な特性の多くを継承するリッチ時系列モデルが得られた。
論文 参考訳(メタデータ) (2020-02-24T20:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。