論文の概要: Exploring the Design Space of Permutation Diffusion LLMs

• arxiv url: http://arxiv.org/abs/2610.20635v1
• Date: Thu, 01 Oct 2026 03:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.548559
• Title: Exploring the Design Space of Permutation Diffusion LLMs
• Title（参考訳）: 置換拡散LDMの設計空間の探索
• Abstract要約: 言語モデルによる置換生成には、テキスト条件付きランキングと、候補と出力位置の間のグローバルな1対1の割り当ての両方が必要である。 この問題を3つの拡散-LLMパラメーター化を用いて研究する: シャッフルした候補-インデックス列上のハードアサイン予測、二重行列上のソフトアサイン予測、直接順序付け-スコア予測、そしてソートする。 3つのファミリーは、予測と復号の異なる段階で置換制約を設定し、したがって異なる訓練目標とサンプリング手順をサポートする。
• 参考スコア（独自算出の注目度）: 49.32027004522728
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Permutation generation with language models requires both text-conditioned ranking and a global one-to-one assignment between candidates and output positions. We study this problem through three diffusion-LLM parameterizations: hard-assignment prediction over shuffled candidate-index sequences, soft-assignment prediction over doubly stochastic matrices, and direct ordering-score prediction followed by sorting. The three families place permutation constraints at different stages of prediction and decoding and therefore support different training objectives and sampling procedures. We evaluate these designs on recommendation reranking across three Amazon domains with candidate sets of size 10 and 20. At one function evaluation, the hard- and soft-assignment variants achieve Recall@1 comparable to a constrained masked-diffusion baseline, whereas direct ordering-score prediction guarantees valid permutations without Hungarian assignment or Sinkhorn normalization. Additional function evaluations do not consistently improve ranking quality, and their effect depends strongly on the state representation and training objective. These results show that corruption, prediction parameterization, objective, and decoder should be designed jointly for permutation diffusion with language-model denoisers.
• Abstract（参考訳）: 言語モデルによる置換生成には、テキスト条件付きランキングと、候補と出力位置の間のグローバルな1対1の割り当ての両方が必要である。 この問題を3つの拡散-LLMパラメーター化を用いて研究する: シャッフルされた候補-インデックス列上のハードアサイン予測、二重確率行列上のソフトアサイン予測、直接順序付け-スコア予測、そしてソートする。 3つのファミリーは、予測と復号の異なる段階で置換制約を設定し、したがって異なる訓練目標とサンプリング手順をサポートする。 これらの設計は、サイズ10と20の候補セットを持つ3つのAmazonドメインで再ランク付けされたレコメンデーションに基づいて評価する。 一方、直接順序付けスコア予測はハンガリー代入やシンクホーン正規化なしで有効な置換を保証する。 追加の関数評価はランク付け品質を継続的に改善するものではなく、その効果は状態表現と訓練目標に強く依存する。 これらの結果から, 言語モデルデノイザによる置換拡散に対して, 汚損, 予測パラメータ化, 目的, デコーダを共同で設計すべきであることが示唆された。

関連論文リスト

• Leveraging Inference-Time Compute for Diffusion Models via Global Scheduling of Denoising Trajectories [16.711750527598827]
  拡散モデルは、純雑音をターゲット分布からのドローに変換する一連のノイズ低減ステップであるデノイング軌跡をトラバースしてサンプルを生成する。 これによってリソース割り当ての疑問が持ち上がります – 探索の作業は、denoising trajectoryのステップにまたがってどのように分散されるべきなのでしょうか? ステップサイズで先行する順に、ステップにおいて$K$の候補を評価することで期待される利益が、内因性、ステップ固有の感度パラメータに、普遍的なサンプルサイズファクターの倍に分解されることを示す。 実験により,提案したアロケーションは,機能評価を20～50%減らして,一様ベンチマークの品質を達成できることが示された。
  論文  参考訳（メタデータ） (2026-09-19T08:10:33Z)
• Learning Unbiased Permutations via Flow Matching [22.51828421737954]
  PermFlowは、置換学習のための条件付きフローマッチングフレームワークである。 単一のモードに折り畳むのではなく、マルチモーダルな置換分布をキャプチャする。 あいまいな入力に対して高い精度を実現し、あいまいさの下で両方の有効な置換を復元する。
  論文  参考訳（メタデータ） (2026-05-16T02:10:35Z)
• Conformal Language Modeling [61.94417935386489]
  生成言語モデル(LM)の共形予測のための新しい手法を提案する。 標準共形予測は厳密で統計的に保証された予測セットを生成する。 我々は,オープンドメイン質問応答,テキスト要約,ラジオロジーレポート生成において,複数のタスクに対するアプローチの約束を実証する。
  論文  参考訳（メタデータ） (2023-06-16T21:55:08Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity [16.893758238773263]
  少数のトレーニングサンプルしか持たなかった場合、GPT-3のような非常に大きな事前訓練された言語モデルは、競争力のある結果を示した。 サンプルが提供される順序は、ほぼ最先端の予測性能とランダムな推測性能の差であることを示す。 言語モデルの生成特性を利用して人工的な開発セットを構築し、このセットから候補置換のエントロピー統計に基づいて、実行者プロンプトを同定する。
  論文  参考訳（メタデータ） (2021-04-18T09:29:16Z)
• Joint Entity and Relation Extraction with Set Prediction Networks [24.01964730210045]
  我々は,結合実体と関係抽出を直接セット予測問題として扱う。 一定の順序で三重項を一つずつ生成する自己回帰アプローチとは異なり、提案したネットワークは1ショットで三重項の最終セットを直接出力する。 2つのベンチマークデータセットによる実験により,提案モデルが現在の最先端手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2020-11-03T13:04:31Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。