論文の概要: From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2607.11758v1
• Date: Mon, 13 Jul 2026 16:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.547678
• Title: From Global to Factor-Wise Expert Composition in Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルにおけるグローバルからファクターワイズエキスパート構成へ
• Abstract要約: 拡散モデルのための因子的合成フレームワークであるFacterDiffを提案する。 我々はこのフレームワークを空間/画素レベルの合成でインスタンス化し、ARC-AGIベンチマークで検証する。
• 参考スコア（独自算出の注目度）: 5.756282731737539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion models offer a powerful framework for solving complex reasoning tasks, particularly through compositional generation, which combines multiple pre-trained experts to generalize beyond their individual training data. Recent theoretical corrections introduce time-dependent mixing weights to better align composed diffusion dynamics with the intended target. However, these methods are fundamentally limited by working on a per-sample basis, treating each generated state monolithically and ignoring the potential spatial or functional specializations of different experts. In this work, we address this limitation by proposing FactorDiff - a factor-wise composition framework for diffusion models. We posit that samples can be further decomposed into smaller factors, and propose a sampling process that dynamically routes each factor to the most relevant expert. We instantiate this framework with spatial/pixel-level compositions and validate it on the ARC-AGI benchmark, demonstrating that simple factor-specific routing consistently outperforms complex global scalar weighting schemes on tasks that require logical consistency and spatial disentanglement.
• Abstract（参考訳）: 離散拡散モデルは、複雑な推論タスクを解くための強力なフレームワークを提供する。 最近の理論的修正は、合成拡散力学と目的とする対象との整合性を改善するために時間依存混合重みを導入している。 しかしながら、これらの手法は、サンプル単位での作業、生成した各状態をモノリシックに処理し、異なる専門家の潜在的な空間的あるいは機能的特殊化を無視して、基本的に制限されている。 本稿では,拡散モデルのための因子構成フレームワークであるFacterDiffを提案することで,この制限に対処する。 より小さな因子に分解できることを仮定し、各因子を最も関係のある専門家に動的にルーティングするサンプリングプロセスを提案する。 我々はこのフレームワークを空間的/ピクセルレベルの構成でインスタンス化し、ARC-AGIベンチマークで検証し、論理的整合性や空間的ゆがみを必要とするタスクにおいて、単純な因子特異的なルーティングが複雑なグローバルスカラー重み付けスキームより一貫して優れていることを示す。

関連論文リスト

• CDFM: Towards a General-Purpose Causal Discovery Foundation Model [62.32138962508216]
  因果発見は、観測データから根底にある因果構造を復元する過程である。 ゼロショット構造推論のための統一的汎用フレームワークとしてCausal Discovery Foundation Model (CDFM) を定式化する。 CDFMは従来のアルゴリズムを一貫して上回り、汎用因果発見基盤モデルへのパラダイムシフトを推進している。
  論文  参考訳（メタデータ） (2026-07-13T12:58:28Z)
• Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning [83.65494573724904]
  我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。 限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。 与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
  論文  参考訳（メタデータ） (2026-05-24T18:19:40Z)
• Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
  実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。 単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。 LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
  論文  参考訳（メタデータ） (2025-11-20T04:11:44Z)
• Symphony-MoE: Harmonizing Disparate Pre-trained Models into a Coherent Mixture-of-Experts [18.18231276284727]
  Mixture-of-Experts (MoE)モデルは、大きなパラメータセットをわずかに活性化することにより、スケーラブルなパフォーマンスを実現する。 近年の作業では、フィードフォワードネットワーク(FFN)層を専門家に複製することで、トレーニング済みの高密度モデル1つを再利用している。 本稿では、複数の同一構造を持つ異なる事前学習モデルから得られたエキスパートを用いて、強力なMoEモデルを構築することにより、この制限に対処する。
  論文  参考訳（メタデータ） (2025-09-23T02:07:14Z)
• Sparse Mixture-of-Experts for Compositional Generalization: Empirical Evidence and Theoretical Foundations of Optimal Sparsity [89.81738321188391]
  本研究では,SMoEモデルにおけるタスク複雑性と最適空間の関係について検討する。 最適な間隔は、最小限のアクティベーション(1-2専門家)とフルアクティベーションの間にあり、その正確な数はタスクの複雑さに比例する。
  論文  参考訳（メタデータ） (2024-10-17T18:40:48Z)
• Mixture of Efficient Diffusion Experts Through Automatic Interval and Sub-Network Selection [63.96018203905272]
  本稿では, 事前学習した拡散モデルを用いて, 効率の良い専門家の混入を図り, サンプリングコストを削減することを提案する。 提案手法であるDiffPruningの有効性を,複数のデータセットで示す。
  論文  参考訳（メタデータ） (2024-09-23T21:27:26Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Physics-Informed Diffusion Models [0.0]
  生成モデルと偏微分方程式の充足を統一する枠組みを提案する。 本手法は,流体流動ケーススタディにおける従来の研究と比較して,残差を最大2桁まで低減する。
  論文  参考訳（メタデータ） (2024-03-21T13:52:55Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。