論文の概要: From Interface to Inference: Eliciting Any-Order Inference from Any-Order Models

• arxiv url: http://arxiv.org/abs/2607.26504v1
• Date: Wed, 29 Jul 2026 06:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.551139
• Title: From Interface to Inference: Eliciting Any-Order Inference from Any-Order Models
• Title（参考訳）: インターフェースから推論へ:任意の順序モデルからの任意の順序推論を緩和する
• Authors: Seunggeun Kim, Jaeyeon Kim, Taekyun Lee, Yuyuan Chen, Yilun Du, Sham Kakade, Sitan Chen,
• Abstract要約: コード生成のような非因果推論タスクは本質的に非因果的である。 ネイティブな任意の順序のインターフェースを持たない自動回帰言語モデルでは、インフィルや次編集予測のような非因果的な能力は手作業で設計されるメカニズムを必要とする。 マスク付き拡散モデルは最近、任意の順序のトレーニング目標が自然に任意の順序の予測インターフェースを提供するため、説得力のある候補として現れている。
• 参考スコア（独自算出の注目度）: 50.812047088926384
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many discrete reasoning tasks, such as code generation, are inherently non-causal: programmers move between high-level structure and local details, a process we call any-order inference. For autoregressive language models, which lack a native any-order interface, non-causal abilities such as infilling and next-edit prediction require hand-designed mechanisms. Can we instead design models that natively support any-order inference? Masked diffusion models have recently emerged as compelling candidates, as their any-order training objective naturally offers an any-order prediction interface. This interface, however, does not automatically yield any-order inference. We demonstrate that this interface-inference gap stems from positional uncertainty: fixed-canvas, token-level models may know what semantic component should appear without knowing where to place it. In light of this, we propose two complementary approaches: (1) Insertion-based masked diffusion, building on FlexMDM (Kim et al, 2025), relaxes fixed-position commitments via insertions, enabling generation across non-contiguous regions. (2) Latent-space masked diffusion shifts prediction to coarser semantic segments, enabling search over latent generation orders. Empirically, we train a 7B FlexMDM for Python coding and a 125M LatentMDM for GSM8K and show that both approaches induce distinct any-order inference behaviors and improve downstream performance. We release our codebase at https://github.com/SeunggeunKimkr/genuine-any-order.
• Abstract（参考訳）: コード生成のような多くの個別の推論タスクは本質的に非因果的であり、プログラマは高レベルの構造と局所的な詳細の間を移動します。 ネイティブな任意の順序のインターフェースを持たない自動回帰言語モデルでは、インフィルや次編集予測のような非因果的な能力は手作業で設計されるメカニズムを必要とする。 代わりに、任意の順序推論をネイティブにサポートするモデルを設計できますか? マスク付き拡散モデルは最近、任意の順序のトレーニング目標が自然に任意の順序の予測インターフェースを提供するため、説得力のある候補として現れている。 しかし、このインターフェイスは自動的に任意の順序推論をもたらすわけではない。 固定キャンバス、トークンレベルのモデルでは、どこに配置すべきかを知らずに、どのセマンティックコンポーネントが現れるべきかを知ることができる。 そこで本研究では,(1)FlexMDM (Kim et al, 2025) 上に構築した挿入型マスク拡散法を用いて,挿入による固定配置コミットメントを緩和し,非連続領域をまたいだ生成を可能にする2つの相補的手法を提案する。 2)潜在空間のマスク付き拡散は、予測を粗いセマンティックセグメントにシフトさせ、潜時生成順序の探索を可能にする。 実験的に,Python の 7B FlexMDM と GSM8K の 125M LatentMDM を訓練し,両手法が異なる任意の順序の推論動作を誘導し,ダウンストリーム性能を向上させることを示す。 コードベースはhttps://github.com/SeunggeunKimkr/genuine-any-order.comで公開しています。

関連論文リスト

• Making Training-Free Diffusion Segmentors Scale with the Generative Power [118.72472901404814]
  一連の研究は、事前学習された拡散モデルを、それ以上の訓練をせずに意味的セグメンテーションに適応することに焦点を当てている。 本稿では,自動アグリゲーションと画素単位の再スケーリングという2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-03-06T11:35:37Z)
• Towards Agnostic and Holistic Universal Image Segmentation with Bit Diffusion [9.184659875364689]
  本稿では,ユニバーサルイメージセグメンテーションのための拡散型フレームワークを提案する。 位置認識型パレットと2Dグレーのコード注文によって性能が向上することを示す。 提案した改善と大規模事前訓練や迅速な条件付けを組み合わせることで、競争モデルが実現できると考えています。
  論文  参考訳（メタデータ） (2026-01-06T10:07:14Z)
• Unifying Autoregressive and Diffusion-Based Sequence Generation [3.1853022872760186]
  拡散に基づくシーケンス生成モデルに対して,自己回帰型言語モデルで行を曖昧にする重要な拡張を提示する。 個別のトークン位置に異なるノイズスケジュールを割り当てるハイパースケジューリングを導入する。 第二に,吸収過程と一様過程の間に介在する2つのハイブリッドトークン単位のノイズ発生過程を提案し,過去の誤りを解消する。
  論文  参考訳（メタデータ） (2025-04-08T20:32:10Z)
• Learning-Order Autoregressive Models with Application to Molecular Graph Generation [52.44913282062524]
  本稿では,データから逐次推定される確率的順序付けを用いて高次元データを生成するARMの変種を紹介する。 提案手法は,画像およびグラフ生成において有意義な自己回帰順序を学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2025-03-07T23:24:24Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Improving Tree-Structured Decoder Training for Code Generation via Mutual Learning [27.080718377956693]
  コード生成は、入力された自然言語の発話に与えられたコードを自動的に生成することを目的としている。 まず、異なるデコードを持つニューラルコード生成モデル間のコンテキストモデリングの違いを網羅的に分析する。 本稿では,これらのモデルを協調的に学習するための相互学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:44:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。