論文の概要: Learning-Order Autoregressive Models with Application to Molecular Graph Generation

• arxiv url: http://arxiv.org/abs/2503.05979v1
• Date: Fri, 07 Mar 2025 23:24:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:53:20.105667
• Title: Learning-Order Autoregressive Models with Application to Molecular Graph Generation
• Title（参考訳）: 学習次数自己回帰モデルと分子グラフ生成への応用
• Authors: Zhe Wang, Jiaxin Shi, Nicolas Heess, Arthur Gretton, Michalis K. Titsias,
• Abstract要約: 本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
• 参考スコア（独自算出の注目度）: 52.44913282062524
• License:
• Abstract: Autoregressive models (ARMs) have become the workhorse for sequence generation tasks, since many problems can be modeled as next-token prediction. While there appears to be a natural ordering for text (i.e., left-to-right), for many data types, such as graphs, the canonical ordering is less obvious. To address this problem, we introduce a variant of ARM that generates high-dimensional data using a probabilistic ordering that is sequentially inferred from data. This model incorporates a trainable probability distribution, referred to as an \emph{order-policy}, that dynamically decides the autoregressive order in a state-dependent manner. To train the model, we introduce a variational lower bound on the exact log-likelihood, which we optimize with stochastic gradient estimation. We demonstrate experimentally that our method can learn meaningful autoregressive orderings in image and graph generation. On the challenging domain of molecular graph generation, we achieve state-of-the-art results on the QM9 and ZINC250k benchmarks, evaluated using the Fr\'{e}chet ChemNet Distance (FCD).
• Abstract（参考訳）: 自動回帰モデル(ARM)は、多くの問題を次世代の予測としてモデル化できるため、シーケンス生成タスクのワークホースとなっている。 グラフのような多くのデータ型に対して、テキストの自然な順序付け(すなわち左から右への順序付け)があるように見えるが、標準順序付けは明らかになっていない。 この問題に対処するために,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を導入する。 このモデルには訓練可能な確率分布、すなわち 'emph{order-policy} が組み込まれており、状態依存的な方法で自己回帰順序を動的に決定する。 このモデルをトレーニングするために,確率的勾配推定で最適化した,正確な対数類似度に基づく変分下界を導入する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。 分子グラフ生成の挑戦的領域について,Fr\'{e}chet ChemNet Distance (FCD)を用いて評価したQM9およびZINC250kベンチマークの最先端結果を得た。

関連論文リスト

• IFH: a Diffusion Framework for Flexible Design of Graph Generative Models [53.219279193440734]
  グラフ生成モデルは,1行にグラフを生成するワンショットモデルと,ノードとエッジの連続的な付加によるグラフを生成するシーケンシャルモデルという,2つの顕著なファミリーに分類される。 本稿では,逐次度を規定するグラフ生成モデルであるInsert-Fill-Halt(IFH)を提案する。
  論文  参考訳（メタデータ） (2024-08-23T16:24:40Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Order Matters: Probabilistic Modeling of Node Sequence for Graph Generation [18.03898476141173]
  グラフ生成モデルはグラフ上の分布を定義する。 グラフ上の正確な結合確率とシーケンシャルプロセスのノード順序を導出する。 我々は,従来の手法のアドホックノード順序を使わずに,この境界を最大化してグラフ生成モデルを訓練する。
  論文  参考訳（メタデータ） (2021-06-11T06:37:52Z)
• Neuralizing Efficient Higher-order Belief Propagation [19.436520792345064]
  より優れたノードとグラフ表現を学習するためのアプローチを組み合わせることを提案する。 我々は高次PGMに対する効率的な近似積ループ的信念伝搬推定アルゴリズムを導出する。 我々のモデルは実際に高次情報をキャプチャし、分子データセットにおける最先端の$k$のグラフニューラルネットワークよりも大幅に優れています。
  論文  参考訳（メタデータ） (2020-10-19T07:51:31Z)
• Permutation Invariant Graph Generation via Score-Based Generative Modeling [114.12935776726606]
  本稿では,最近のスコアベース生成モデルを用いて,グラフモデリングにおける置換不変手法を提案する。 特に、入力グラフにおけるデータ分布の勾配をモデル化するために、置換同変のマルチチャネルグラフニューラルネットワークを設計する。 グラフ生成では、我々の学習アプローチはベンチマークデータセット上の既存のモデルよりも良い、あるいは同等の結果を得る。
  論文  参考訳（メタデータ） (2020-03-02T03:06:14Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。