論文の概要: Coupling Models for One-Step Discrete Generation

• arxiv url: http://arxiv.org/abs/2605.07193v1
• Date: Fri, 08 May 2026 03:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.777424
• Title: Coupling Models for One-Step Discrete Generation
• Title（参考訳）: 1ステップ離散生成のための結合モデル
• Authors: Fred Zhangzhi Peng, Avishek Joey Bose, Anru R. Zhang, Alexander Tong,
• Abstract要約: カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。 単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。 LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
• 参考スコア（独自算出の注目度）: 50.37847093567075
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative modeling over discrete structures underpins applications across deep learning, from biological sequence design and code generation to large language models, yet generation often remains sequential, relying on autoregressive decoding or iterative refinement. In this work, we introduce Coupling Models(Coupling Models), a one-step discrete generative model that learns a direct coupling between discrete sequences and Gaussian latents. Unlike recent distillation methods that compress a pretrained multi-step sampler into a few steps, Coupling Model trains a purpose-built decoder to invert this coupling and generate samples in a single step. The model also avoids complex continuous flows over the simplex and hand-specified data-to-noise couplings. Empirically,Coupling Model improves the strongest one-step baselines in each domain: it reduces LM1B text-generation perplexity by 33% at its lowest-perplexity operating point, Fly Brain enhancer-design FBD by 18%, and MNIST-Binary FID by 46%. These results suggest that effective one-step discrete generation depends strongly on how data and noise are coupled before decoding. Code is available at https://github.com/pengzhangzhi/Coupling-Models.
• Abstract（参考訳）: 離散構造上の生成モデリングは、生物学的シーケンス設計やコード生成から大規模言語モデルに至るまで、ディープラーニング全体にわたるアプリケーションを支える。 本研究では,離散列とガウス列の直接結合を学習する一段階離散生成モデルである結合モデル(結合モデル)を提案する。 事前訓練された多段階のサンプルを数ステップに圧縮する最近の蒸留法とは異なり、カップリングモデルでは、この結合を反転させ、単一のステップでサンプルを生成するために目的のデコーダを訓練している。 このモデルは、単純および手動で特定したデータ-ノイズ結合上の複雑な連続フローも回避する。 実証的には、Coupling Modelは各ドメインにおいて最強のワンステップベースラインを改善し、最低パープレキシティ操作ポイントでLM1Bテキスト生成パープレキシティを33%減らし、Fly Brainエンハンサー設計FBDを18%減らし、MNIST-Binary FIDを46%減らした。 これらの結果から, 実効的な一段階離散生成は, 復号化前のデータとノイズの結合方法に強く依存していることが示唆された。 コードはhttps://github.com/pengzhangzhi/Coupling-Models.comで入手できる。

関連論文リスト

• ReDi: Rectified Discrete Flow [17.72385262464804]
  条件付きトータル相関(TC)を用いた分解近似誤差の解析 本稿では,因子分解誤差を低減させる新しい反復法であるRectified Discrete Flow (ReDi)を提案する。 経験的に、ReDiはConditional TCを大幅に削減し、数ステップ生成を可能にします。
  論文  参考訳（メタデータ） (2025-07-21T01:18:44Z)
• One-Step Diffusion Distillation through Score Implicit Matching [74.91234358410281]
  本稿では,Score Implicit Matching (SIM) を用いて,事前学習した拡散モデルを単一ステップジェネレータモデルに蒸留する手法を提案する。 SIMはワンステップジェネレータに対して強い経験的性能を示す。 リードトランスに基づく拡散モデルにSIMを適用することにより,テキスト・ツー・イメージ生成のための単一ステップ生成器を蒸留する。
  論文  参考訳（メタデータ） (2024-10-22T08:17:20Z)
• One Step Diffusion via Shortcut Models [109.72495454280627]
  単一ネットワークとトレーニングフェーズを用いて高品質なサンプルを生成する,生成モデルのファミリであるショートカットモデルを導入する。 ショートカットモデルは、現在のノイズレベルと所望のステップサイズにネットワークを条件付け、生成プロセスでモデルをスキップすることができる。 蒸留と比較して、ショートカットモデルは複雑性を1つのネットワークとトレーニングフェーズに減らし、推論時に様々なステップ予算を許容する。
  論文  参考訳（メタデータ） (2024-10-16T13:34:40Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。