論文の概要: E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2609.37533v1
• Date: Tue, 29 Sep 2026 13:18:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.540002
• Title: E-MoE: Enhanced Mixture-of-Experts for Non-Factorized Diffusion Language Models
• Title（参考訳）: E-MoE:非有限拡散言語モデルのための拡張混合処理
• Abstract要約: 仮面拡散モデルは、段階ごとにいくつかのトークンを徐々に解き放つことによってシーケンスを生成する。 E-MoEは、逆過程を離散共有潜在因子上の分解分布の混合として構築する。 合成マルチモーダルベンチマーク、二項化MNIST、LM1Bの他、E-MoEは因子化ベースラインよりも数ステップ生成を改善する。
• 参考スコア（独自算出の注目度）: 83.89854459075445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion models (MDMs) generate sequences by progressively unmasking several tokens per denoising step, but their reverse process is typically factorized over positions, limiting sample quality in the few-step regime where diffusion's speed advantage over autoregressive decoding matters most. A recent line of work introduces a continuous Gaussian latent, trained as a variational autoencoder, to capture correlations across positions, but such approaches are prone to posterior collapse, where the latent is silently ignored. We propose Enhanced Mixture-of-Experts (E-MoE), which builds the reverse process as a mixture of factorized distributions over a discrete shared latent given by the expert-routing decisions of a Mixture-of-Experts (MoE) backbone, without increasing active parameters over the factorized baseline. Across synthetic multi-modal benchmarks, binarized MNIST, and LM1B, E-MoE improves few-step generation over factorized baselines.
• Abstract（参考訳）: 仮面拡散モデル(MDM)は、段階ごとに数個のトークンを段階的に解き放つことでシーケンスを生成するが、その逆過程は典型的には位置によって分解され、自己回帰復号よりも拡散の速度が有利な数ステップの状態でサンプル品質が制限される。 最近の研究のラインでは、変分オートエンコーダとして訓練された連続的なガウス潜水器を導入し、位置間の相関を捉えるが、そのようなアプローチは、潜水器が静かに無視される後部崩壊の傾向にある。 そこで本稿では,Mixture-of-Experts (E-MoE) のバックボーンのエキスパートルーティング決定によって与えられる離散共有潜伏子上の因子分布の混合として逆過程を構築する。 合成マルチモーダルベンチマーク、二項化MNIST、LM1Bの他、E-MoEは因子化ベースラインよりも数ステップ生成を改善する。

関連論文リスト

• Residual Diffusion Implicit Models [7.0124069845009025]
  拡散モデルは複数のタスクにまたがって最先端の結果を達成する。 拡散ブリッジのような最近の手法は厳密な終端制約を課している。 RDIMは、PSNR、SSIM、LPIPSの点で、一貫して芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2026-09-26T23:34:35Z)
• N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization [55.14402862283128]
  我々は,グループ相対政策最適化フレームワークに統合された新しい探索戦略であるN-GRPOを紹介する。 トークンレベルのサンプリングやネイティブな埋め込みレベルのノイズに頼るのではなく、Semantic Neighbor Mixingを活用する。 N-GRPOは、数学推論ベンチマークの強いベースラインよりも一貫した改善を達成し、また分布外タスクの堅牢な一般化能力を示す。
  論文  参考訳（メタデータ） (2026-06-09T12:21:27Z)
• Forward-Learned Discrete Diffusion: Learning how to noise to denoise faster [9.504429803694448]
  本稿では,対象分布とモデル分布とのギャップを低減するために,前方学習型離散拡散法を提案する。 マルコフの前方鎖を固定する代わりに、学習可能な辺分布と後続分布を持つ非マルコフの定式化を採用する。 これにより、生成プロセスは、ノイズ発生プロセスで定義されたターゲットにマッチしながら、分解され続けることができる。
  論文  参考訳（メタデータ） (2026-05-18T10:43:36Z)
• Diffusion-CAM: Faithful Visual Explanations for dMLLMs [8.78213424930081]
  Diffusion-CAMは、dMLLMに特化された最初の解釈可能性法である。 バックボーンの中間表現を微分して生の活性化マップを導出する。 実験の結果,Diffusion-CAMは局所化精度と視覚的忠実度の両方でSoTA法よりも優れていた。
  論文  参考訳（メタデータ） (2026-04-13T05:14:18Z)
• MixAR: Mixture Autoregressive Image Generation [12.846100277592969]
  連続的自己回帰モデリングのための事前ガイダンスとして離散トークンを注入する新しいフレームワークであるMixARを紹介する。 本稿では、自己注意(DC-SA)、クロスアテンション(DC-CA)、均一なマスクトークンを情報的な個別のトークンに置き換える単純なアプローチ(DC-Mix)など、いくつかの離散連続混合戦略について検討する。
  論文  参考訳（メタデータ） (2025-11-15T12:19:28Z)
• MRO: Enhancing Reasoning in Diffusion Language Models via Multi-Reward Optimization [66.82303841930752]
  拡散言語モデル (DLMs) は従来の自己回帰型大規模言語モデル (LLMs) に代わる有望な選択肢を提供する。 DLMは、特にデノナイジングステップの数が減少するにつれて、LLMよりも遅れている。 本稿では,マルチリワード最適化 (MRO) 手法を提案する。
  論文  参考訳（メタデータ） (2025-10-24T13:57:59Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• Generative Fractional Diffusion Models [53.36835573822926]
  我々は,その基礎となる力学に分数拡散過程を利用する,最初の連続時間スコアベース生成モデルを導入する。 実画像データを用いた評価では,GFDMはFIDが低い値で示されるように,画素幅の多様性と画質の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:53:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。