論文の概要: Variational Learning for Insertion-based Generation

• arxiv url: http://arxiv.org/abs/2606.02133v2
• Date: Mon, 08 Jun 2026 21:16:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 13:21:50.515749
• Title: Variational Learning for Insertion-based Generation
• Title（参考訳）: 挿入型生成のための変分学習
• Authors: Yangtian Zhang, Zhe Wang, Arthur Gretton, Rex Ying, David van Dijk, Michalis K. Titsias, Jiaxin Shi,
• Abstract要約: 可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 本稿では,挿入する場所,挿入する場所,終了するタイミングを共同で学習する生成モデルであるInsertion Process (IP)を提案する。
• 参考スコア（独自算出の注目度）: 50.15012125719375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-monotonic sequence generation methods, such as masked diffusion models, provide a flexible alternative to left-to-right autoregressive modeling by allowing tokens to be generated in non-fixed and prescribed orders. Despite their practical advantages, most existing non-monotonic models are order-agnostic and rely on a fixed-length grid, limiting their ability to support variable-length generation and adaptive insertion order. In this work, we introduce a probabilistic framework for learning insertion order in variable-length insertion models. We formalize a bijective correspondence between insertion trajectories and permutations, which enables an exact reparameterization of the data likelihood as a sum over permutations. Building on this result, we propose the Insertion Process (IP), a stochastic generative model that jointly learns where to insert, what to insert, and when to terminate, trained via permutation-based variational inference. Unlike prior fixed-canvas approaches, IP natively supports variable-length generation and learns data-driven preferences over insertion orders. Experiments on goal-conditioned planning and molecular string generation demonstrate that learning insertion order improves both modeling quality and generalization in domains without a canonical left-to-right structure.
• Abstract（参考訳）: マスク拡散モデルのような非単調なシーケンス生成法は、トークンを非固定および所定の順序で生成できるようにすることにより、左から右への自己回帰モデリングに代わる柔軟な代替手段を提供する。 実用的優位性にもかかわらず、既存の非単調モデルのほとんどは順序に依存しず、固定長グリッドに依存し、可変長生成と適応挿入順序をサポートする能力を制限する。 本研究では,可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 挿入軌跡と置換の間の単射対応を定式化し、置換に対する和としてデータ可能性の正確な再パラメータ化を可能にする。 この結果に基づいて, 挿入先, 挿入先, 終了時期を共用的に学習する確率的生成モデルであるInsertion Process (IP) を提案する。 従来の固定キャンバスアプローチとは異なり、IPは変数長生成をネイティブにサポートし、挿入順序よりもデータ駆動の好みを学ぶ。 目標条件付き計画と分子文字列生成の実験は、学習挿入順序が標準左から右への構造を持たない領域におけるモデリング品質と一般化の両方を改善することを示した。

関連論文リスト

• Insertion Based Sequence Generation with Learnable Order Dynamics [31.889457692631023]
  本研究では, 数値シミュレーションを必要とせずに, 目標順序のダイナミックスとジェネレータの連成訓練が可能であることを示す。 生成的挿入モデルとして,マスクトークンの挿入と充填によって生成される可変長マスク拡散モデルを用いる。 学習順序のダイナミクスは、一様秩序のダイナミクスと比較して、有効な分子の数が増加し、品質が向上することがわかった。
  論文  参考訳（メタデータ） (2026-02-21T02:53:55Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Vector Quantized Contrastive Predictive Coding for Template-based Music Generation [0.0]
  本稿では,トークンを基本単位に分類できる離散列の変種を生成するフレキシブルな手法を提案する。 本稿では,これらの圧縮表現を用いてテンプレートシーケンスの変動を,Transformerアーキテクチャの適切な注意パターンを用いて生成する方法を示す。
  論文  参考訳（メタデータ） (2020-04-21T15:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。