論文の概要: Edit Flows: Flow Matching with Edit Operations

• arxiv url: http://arxiv.org/abs/2506.09018v1
• Date: Tue, 10 Jun 2025 17:44:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:42.974571
• Title: Edit Flows: Flow Matching with Edit Operations
• Title（参考訳）: 編集フロー: 編集操作によるフローマッチング
• Authors: Marton Havasi, Brian Karrer, Itai Gat, Ricky T. Q. Chen,
• Abstract要約: Edit Flowsは、操作の挿入、削除、置換を通じてシーケンス上の離散フローを定義する非自己回帰モデルである。 シーケンス空間上の連続時間マルコフチェーン内でこれらの操作をモデル化することにより、エディットフローはフレキシブルで位置相対的な生成を可能にする。
• 参考スコア（独自算出の注目度）: 25.751427330260128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive generative models naturally generate variable-length sequences, while non-autoregressive models struggle, often imposing rigid, token-wise structures. We propose Edit Flows, a non-autoregressive model that overcomes these limitations by defining a discrete flow over sequences through edit operations-insertions, deletions, and substitutions. By modeling these operations within a Continuous-time Markov Chain over the sequence space, Edit Flows enable flexible, position-relative generation that aligns more closely with the structure of sequence data. Our training method leverages an expanded state space with auxiliary variables, making the learning process efficient and tractable. Empirical results show that Edit Flows outperforms both autoregressive and mask models on image captioning and significantly outperforms the mask construction in text and code generation.
• Abstract（参考訳）: 自己回帰生成モデルは自然に可変長列を生成するが、非自己回帰モデルは困難であり、しばしば厳密でトークン的な構造を示唆する。 本研究では,これらの制約を克服する非自己回帰モデルであるEdit Flowsを提案する。 シーケンス空間上の連続時間マルコフチェーン内でこれらの操作をモデル化することにより、Edit Flowは、シーケンスデータの構造とより密に整合した柔軟な位置相対生成を可能にする。 学習方法は補助変数を持つ拡張状態空間を活用することにより,学習プロセスの効率化とトラクタブル化を実現している。 実験の結果, 編集フローはイメージキャプションにおいて自己回帰モデルとマスクモデルの両方に優れ, テキストやコード生成においてマスク構造を著しく上回ることがわかった。

関連論文リスト

• CaLMFlow: Volterra Flow Matching using Causal Language Models [14.035963716966787]
  CaLMFlowはVolterra積分方程式(VIE)としてフローマッチングをキャストするフレームワークである 本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。 単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-03T05:07:41Z)
• Discrete Diffusion Language Model for Efficient Text Summarization [19.267738861590487]
  本稿では,トランスフォーマーのバックボーンが長いシーケンスを効果的に扱えるような,セマンティック・アウェア・ノーミング・プロセスを提案する。 提案手法は,Gigaword,CNN/DailyMail,Arxivの3つのベンチマーク要約データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:55:22Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Text Editing as Imitation Game [33.418628166176234]
  動作クローンを用いた模倣ゲームとしてテキスト編集を再構成する。 我々は、アクショントークン間の依存関係を保持しながら、デコーディングを並列化するデュアルデコーダ構造を導入する。 私たちのモデルは、パフォーマンス、効率、堅牢性の点で、自己回帰ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2022-10-21T22:07:04Z)
• Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
  言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。 拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。 本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
  論文  参考訳（メタデータ） (2022-05-27T20:12:09Z)
• Learning to Model Editing Processes [98.11448946134894]
  本稿では、反復的にシーケンスを生成するプロセス全体をモデル化し、編集プロセスのモデリングを提案する。 我々は、多段階編集の可能性を記述するための概念的枠組みを構築し、これらの多段階編集に基づいてシーケンスの生成モデルを学ぶことができるニューラルネットワークを記述する。
  論文  参考訳（メタデータ） (2022-05-24T21:32:52Z)
• Improving Sequential Latent Variable Models with Autoregressive Flows [30.053464816814348]
  本稿では,自己回帰正規化フローに基づくシーケンスモデリングの改良手法を提案する。 結果は3つのベンチマークビデオデータセットで示され、自動回帰フローベースのダイナミックスがログライクなパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2020-10-07T05:14:37Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。