論文の概要: OrderGPT: Generation Order as a Learnable Modeling Choice

• arxiv url: http://arxiv.org/abs/2610.25949v1
• Date: Mon, 19 Oct 2026 07:41:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:07:26.054386
• Title: OrderGPT: Generation Order as a Learnable Modeling Choice
• Title（参考訳）: OrderGPT:学習可能なモデリング選択としての生成順序
• Abstract要約: 我々は,Any-Order GPT上に構築されたOrderGPTを導入し,標準順序監督なしでタスクレベルの生成順序を学習する。 GPTバックボーンに統合された軽量なOrderMLPは、これらの優先順位を注意から予測することを学ぶ。
• 参考スコア（独自算出の注目度）: 11.562923882714093
• License:
• Abstract: Generative modeling of discrete data has two popular paradigms: autoregressive models such as GPT, which factorize a sequence in a left-to-right (L2R) order, and masked diffusion models, which are essentially any-order autoregressive modeling. Rather than competing methods, these are the two extreme points of a single axis -- the generation order. For structured discrete domains without a natural traversal, both extremes may be suboptimal, yet the intermediate choice -- a single well-adapted order -- remains largely unexplored. We introduce OrderGPT, which builds on Any-Order GPT to learn a task-level generation order without canonical-order supervision. Our key observation is that predicting variables from randomly sampled reveal prefixes produces recurring attention patterns in the backbone that provide a model-dependent signal of predictive dependencies. We aggregate this signal into a reciprocal dependency graph and use a spectral teacher to derive continuous generation priorities. A lightweight OrderMLP integrated into the GPT backbone learns to predict these priorities from attention, incorporating order learning into the architecture within a single training run. Training gradually shifts toward the learned order, which is then frozen for subsequent autoregressive training and generation. The same mechanism adapts across modalities: adaptively it recovers near-L2R dependency structure in language, learns anatomically organized factorizations on human pose, and discovers a factorization on tabular data that places statistically and semantically related fields nearby, while improving downstream modeling metrics across all domains. The code is available at https://github.com/Chenhe-yang/OrderGPT/.
• Abstract（参考訳）: 離散データの生成的モデリングには、2つの一般的なパラダイムがある: GPT(英語版)のような自己回帰モデル(英語版)は左から右へ(L2R)の順序の列を分解し、マスク付き拡散モデル(英語版)は本質的に任意の順序の自己回帰モデルである。 競合する手法ではなく、これらは1つの軸の2つの極点 -- 生成順序 -- である。自然なトラバーサルを持たない構造化された離散領域の場合、どちらの極点も最適ではないかもしれないが、中間選択 -- 単一の順に順応した順序 -- は、ほとんど探索されていない。 我々は,Any-Order GPT上に構築されたOrderGPTを導入し,標準順序監督なしでタスクレベルの生成順序を学習する。 我々のキーとなる観察は、ランダムにサンプリングされた公開プレフィックスから変数を予測することは、予測依存のモデル依存信号を提供するバックボーンに繰り返し注意パターンを生成することである。 我々は、この信号を相互依存グラフに集約し、スペクトル教師を用いて連続生成優先度を導出する。 GPTバックボーンに統合された軽量なOrderMLPは、これらの優先順位を注意から予測することを学び、単一のトレーニング実行内に秩序学習をアーキテクチャに組み込む。 訓練は徐々に学習順序に移行し、その後、自己回帰訓練と生成のために凍結される。 同じメカニズムは、言語におけるL2R近傍の依存性構造を適応的に回復し、人間のポーズに関する解剖学的に組織化された分解を学習し、近隣の統計的および意味論的に関連のあるフィールドを統計的に配置する表データ上の分解を発見し、すべてのドメインにわたって下流モデリングメトリクスを改善する。 コードはhttps://github.com/Chenhe-yang/OrderGPT/で公開されている。

関連論文リスト

• Variational Learning for Insertion-based Generation [50.15012125719375]
  可変長挿入モデルの挿入順序を学習するための確率的フレームワークを提案する。 本稿では,挿入する場所,挿入する場所,終了するタイミングを共同で学習する生成モデルであるInsertion Process (IP)を提案する。
  論文  参考訳（メタデータ） (2026-06-01T11:59:46Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• A Fixed-Point Approach for Causal Generative Modeling [20.88890689294816]
  本稿では,構造因果モデル(Structure Causal Models, SCM)を因果順序付き変数の固定点問題として記述する新しい形式論を提案する。 トポロジカル順序付け(TO)を考えると,その特異な回復のために最も弱い既知の条件を確立する。
  論文  参考訳（メタデータ） (2024-04-10T12:29:05Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。