論文の概要: Insertion Based Sequence Generation with Learnable Order Dynamics

• arxiv url: http://arxiv.org/abs/2602.18695v1
• Date: Sat, 21 Feb 2026 02:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.243639
• Title: Insertion Based Sequence Generation with Learnable Order Dynamics
• Title（参考訳）: 学習可能な順序ダイナミクスを用いた挿入型シーケンス生成
• Authors: Dhruvesh Patel, Benjamin Rozonoyer, Gaurav Pandey, Tahira Naseem, Ramón Fernandez Astudillo, Andrew McCallum,
• Abstract要約: 本研究では, 数値シミュレーションを必要とせずに, 目標順序のダイナミックスとジェネレータの連成訓練が可能であることを示す。 生成的挿入モデルとして,マスクトークンの挿入と充填によって生成される可変長マスク拡散モデルを用いる。 学習順序のダイナミクスは、一様秩序のダイナミクスと比較して、有効な分子の数が増加し、品質が向上することがわかった。
• 参考スコア（独自算出の注目度）: 31.889457692631023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many domains generating variable length sequences through insertions provides greater flexibility over autoregressive models. However, the action space of insertion models is much larger than that of autoregressive models (ARMs) making the learning challenging. To address this, we incorporate trainable order dynamics into the target rates for discrete flow matching, and show that with suitable choices of parameterizations, joint training of the target order dynamics and the generator is tractable without the need for numerical simulation. As the generative insertion model, we use a variable length masked diffusion model, which generates by inserting and filling mask tokens. On graph traversal tasks for which a locally optimal insertion order is known, we explore the choices of parameterization empirically and demonstrate the trade-offs between flexibility, training stability and generation quality. On de novo small molecule generation, we find that the learned order dynamics leads to an increase in the number of valid molecules generated and improved quality, when compared to uniform order dynamics.
• Abstract（参考訳）: 挿入によって可変長列を生成する多くの領域では、自己回帰モデルよりも柔軟性が高い。 しかし、挿入モデルのアクション空間は自己回帰モデル(ARM)よりもはるかに大きいため、学習は困難である。 そこで本研究では,個別フローマッチングのためのトレーニング可能な順序力学を目標レートに組み込んで,パラメータ化の適切な選択により,目標順序力学とジェネレータの協調訓練が,数値シミュレーションを必要とせずに実行可能であることを示す。 生成的挿入モデルとして,マスクトークンの挿入と充填によって生成される可変長マスク拡散モデルを用いる。 局所的に最適な挿入順序が分かっているグラフトラバースタスクについて、パラメータ化の選択を実証的に検討し、柔軟性、訓練安定性、生成品質のトレードオフを実証する。 デ・ノボの小さな分子生成では、学習順序のダイナミクスは、一様秩序のダイナミクスと比較して、有効な分子の数が増加し、品質が向上することがわかった。

関連論文リスト

• Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
  拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。 個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。 第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
  論文  参考訳（メタデータ） (2025-04-08T20:32:10Z)
• Neural Variable-Order Fractional Differential Equation Networks [26.06048802504022]
  NvoFDE(Neural Variable-Order Fractional Differential Equation Network)を導入する。 NvoFDEは、可変次分数微分と学習可能なニューラルネットワークを統合する、新しいニューラルネットワークフレームワークである。 以上の結果から,NvoFDEは従来の定階分数モデルや整数モデルよりも多くのタスクをこなすことが示された。
  論文  参考訳（メタデータ） (2025-03-20T14:54:19Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Contrastively Disentangled Sequential Variational Autoencoder [20.75922928324671]
  本稿では,C-DSVAE(Contrastively Disentangled Sequential Variational Autoencoder)という新しいシーケンス表現学習手法を提案する。 我々は,静的因子と動的因子の相互情報をペナルティ化しながら,入力と潜伏因子の相互情報を最大化する新しいエビデンスローバウンドを用いる。 実験の結果、C-DSVAEは従来の最先端の手法よりも優れていたことが判明した。
  論文  参考訳（メタデータ） (2021-10-22T23:00:32Z)
• Dynamic Gaussian Mixture based Deep Generative Model For Robust Forecasting on Sparse Multivariate Time Series [43.86737761236125]
  本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。 新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。 帰納的解析を可能にするために構造化推論ネットワークも設計されている。
  論文  参考訳（メタデータ） (2021-03-03T04:10:07Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。