論文の概要: The Lattice of Transition Laws

• arxiv url: http://arxiv.org/abs/2610.11216v1
• Date: Thu, 08 Oct 2026 04:13:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.797441
• Title: The Lattice of Transition Laws
• Title（参考訳）: 遷移法則の格子
• Abstract要約: 拡散と自己回帰(AR)は、長い間、生成モデルの異なるカテゴリと見なされてきた。 最近の研究は2つのモデルの利点を組み合わせることを目的としており、それぞれのハイブリッドは設計によってデコードスケジュールを修正している。 一定のステップで復号する前に,あるモデルの復号スケジュールの性能を予測できるかどうかを問う。
• 参考スコア（独自算出の注目度）: 45.31050824470119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion and autoregression (AR) have long been seen as different categories of generative models, with diffusion specialising in continuous fields and AR specialising in discrete tokens. Recent work seeks to combine the advantages of the two models, and each hybrid fixes its decoding schedule by design. In this paper, we ask whether the performance of decoding schedules of one model can be predicted before decoding at a fixed number of steps. We describe diffusion, AR, and models in between as paths on one corruption lattice, and define the cost of a schedule as the dependence its parallel steps discard. The cost shows that the fewest steps of a zero-cost schedule are set by the geometry of the data, in the same way for tokens and for continuous fields. In particular, for data that are Markov on a graph and dependent along its paths, the fewest steps equal the graph's treedepth, which is logarithmic in the length of a sequence and linear in the side length of a grid. With fewer steps than the treedepth, every schedule pays a positive cost, whose ranking we predict before decoding with a kernel of pairwise dependence estimated from pretrained weights. Across text generation, image generation, and video generation, we verify most of the predictions about the rankings of different schedules under different metrics and benchmarks. This work therefore provides a design principle for decoding for future AR models, diffusion models, and anything in between. Our code is available at https://github.com/TSUITUENYUE/The-Lattice-of-Transition-Laws.
• Abstract（参考訳）: 拡散と自己回帰(AR)は、連続体を専門とする拡散や離散トークンを専門とするARなど、生成モデルの異なるカテゴリとして長年見なされてきた。 最近の研究は2つのモデルの利点を組み合わせることを目的としており、それぞれのハイブリッドは設計によってデコードスケジュールを修正している。 本稿では,1つのモデルの復号化スケジュールの性能を,一定回数のステップで復号化する前に予測できるかどうかを問う。 1つの汚い格子上の経路として拡散、AR、モデルを記述するとともに、スケジュールのコストを、その並列ステップの破棄に依存するものとして定義する。 このコストは、ゼロコストスケジュールの最も少ないステップが、トークンや連続体と同様に、データの幾何学によって設定されていることを示している。 特に、グラフ上のマルコフであり、その経路に沿って依存するデータに対して、最も少ないステップはグラフのツリー深さと等しい。 木深よりも少ないステップで、各スケジュールは正のコストを支払う。そのランク付けは、事前訓練された重みから推定されるペア依存のカーネルで復号する前に予測する。 テキスト生成、画像生成、ビデオ生成など、さまざまなスケジュールのランキングに関する予測のほとんどを、異なるメトリクスとベンチマークで検証する。 この作業は、将来のARモデル、拡散モデル、そしてその間のあらゆるもののためのデコードのための設計原則を提供する。 私たちのコードはhttps://github.com/tsuITUENYUE/The-Lattice-of-Transition-Laws.comで公開されています。

関連論文リスト

• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding [51.75091298017941]
  本稿では,属性付きグラフデータに対する新しいDeep Manifold (Variational) Graph Auto-Encoder (DMVGAE/DMGAE)を提案する。 提案手法は,最先端のベースラインアルゴリズムを,一般的なデータセット間でのダウンストリームタスクの差を大きく越える。
  論文  参考訳（メタデータ） (2024-01-12T17:57:07Z)
• A Framework for Bidirectional Decoding: Case Study in Morphological Inflection [4.602447284133507]
  外部からシーケンスを復号するフレームワークを提案する。 各ステップで、モデルは左、右にトークンを生成するか、左と右のシーケンスを結合するかを選択します。 我々のモデルは2022年と2023年の共有タスクに最先端のSOTA(State-of-the-art)を設定し、それぞれ平均精度4.7ポイントと2.7ポイント以上で次の最高のシステムを上回った。
  論文  参考訳（メタデータ） (2023-05-21T22:08:31Z)
• Graph Conditioned Sparse-Attention for Improved Source Code Understanding [0.0]
  本稿では,スパース自己認識機構の注目マスクとしてグラフ隣接行列を用いて,ソースコードスニペットをグラフのモダリティで条件付けすることを提案する。 提案手法は,コード要約タスクにおけるBLEU, METEOR, ROUGE-Lの計測結果に到達し, 可変誤用タスクにおけるほぼ最先端の精度を示す。
  論文  参考訳（メタデータ） (2021-12-01T17:21:55Z)
• Online Graph Topology Learning from Matrix-valued Time Series [0.0]
  焦点は、センサのネットワーク上でデータを収集する行列値時系列の統計解析である。 目標は、これらのセンサー間の依存関係構造を特定し、それをグラフで表現することだ。 オンラインアルゴリズムはこれらの拡張データモデルに適応しており、ストリーミングサンプルからグラフとトレンドを同時に学習することができる。
  論文  参考訳（メタデータ） (2021-07-16T17:21:14Z)
• Encoder-Decoder Generative Adversarial Nets for Suffix Generation and Remaining Time Prediction of Business Process Models [0.03807314298073299]
  本稿では,GAN(Generative Adversarial Networks)に基づくエンコーダデコーダアーキテクチャを提案する。 GANは画像などの識別可能なデータでうまく機能するが、接尾辞は分類項目の列である。 我々はGumbel-Softmax分布を用いて微分可能な連続近似を得る。
  論文  参考訳（メタデータ） (2020-07-30T03:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。