論文の概要: Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models

• arxiv url: http://arxiv.org/abs/2607.04360v1
• Date: Sun, 05 Jul 2026 15:38:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.90802
• Title: Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models
• Title（参考訳）: 条件付き生成モデルにおけるエクササイズモデルの平均化
• Abstract要約: 条件生成モデルは,対象条件分布から抽出する強力なツールとして出現している。 これらのモデルが普及するにつれて、実践者はタスク、データ、入力条件によってパフォーマンスが変化する複数の可塑性ジェネレータに直面します。 本研究では,条件付き生成モデルに対する最適モデル平均化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.102380962405881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional generative models have emerged as powerful tools for sampling from target conditional distributions, driving substantial advances across a wide range of scientific and applied domains. As these models proliferate, practitioners often face multiple plausible generators whose performance can vary with the task, data, or input condition. We propose an optimal model averaging framework for conditional generative models, allowing candidate generators to be combined even when they are accessible only through conditional samples without tractable densities. Specifically, we use a sample-based maximum mean discrepancy between conditional distributions, which first leads to a static model averaging method, StaticMA, assigning fixed weights to different candidates. In addition, we develop MoEMA (mixture-of-experts model averaging), an input-adaptive method that parameterizes covariate-dependent weights through a softmax neural-network gate. We establish in-sample and out-of-sample asymptotic optimality for the proposed methods, together with consistency of the estimated adaptive weight function under regularity conditions. The framework applies directly to Euclidean responses and extends to unstructured data by combining our formulation with fixed representation maps. Across a broad set of simulations and real-data studies spanning tabular, image, and text modalities, MoEMA generally improves over competing baselines, demonstrating the effectiveness of our proposed methods.
• Abstract（参考訳）: 条件生成モデルは、ターゲット条件分布から抽出する強力なツールとして出現し、広範囲の科学的および応用領域でかなりの進歩を遂げている。 これらのモデルが普及するにつれて、実践者はタスク、データ、入力条件によってパフォーマンスが変化する複数の可塑性ジェネレータに直面します。 本研究では,条件付き生成モデルに対する最適モデル平均化フレームワークを提案する。 具体的には,条件分布間の平均誤差をサンプルベースで最大化することで,まず静的モデル平均化手法であるStticMAを導出し,各候補に固定重みを割り当てる。 さらに、ソフトマックスニューラルネットワークゲートを介して共変量に依存した重みをパラメータ化する入力適応法であるMoEMA(mixture-of-experts model averaging)を開発した。 提案手法では,正則性条件下での適応重み関数の推定値の整合性とともに,サンプル内およびサンプル外漸近的最適性を確立する。 このフレームワークはユークリッド応答に直接適用し、定式化と固定表現写像を組み合わせることで非構造化データに拡張する。 表、画像、テキストのモダリティにまたがる幅広いシミュレーションおよび実データ研究において、MoEMAは一般に、競合するベースラインよりも改善し、提案手法の有効性を実証する。

関連論文リスト

• Variance-Reduced Model Predictive Path Integral via Quadratic Model Approximation [18.217598791860684]
  本稿では,事前モデルをサンプリングプロセスに統合したハイブリッド分散再生MPPIフレームワークを提案する。 本研究では,2次近似を適用すれば,情報領域のサンプルを効果的に濃縮する閉形式モデルガイダンスの導出が可能になることを実証する。
  論文  参考訳（メタデータ） (2026-02-03T15:23:17Z)
• Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
  拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。 i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。 本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-26T15:06:30Z)
• Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
  事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。 本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-04T17:46:51Z)
• Bridging the inference gap in Mutimodal Variational Autoencoders [6.246098300155483]
  マルチモーダル変分オートエンコーダは、観測されたモダリティから観測されていないモダリティを生成するための多目的でスケーラブルな方法を提供する。 エキスパートの混合集合を用いた最近のモデルは、複雑なデータセットにおける生成品質を制限する理論的に基礎的な制限に悩まされている。 本稿では,混合アグリゲーションを導入することなく,結合分布と条件分布の両方を学習できる新しい解釈可能なモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-06T10:43:55Z)
• On the Laplace Approximation as Model Selection Criterion for Gaussian Processes [6.990493129893112]
  ラプラス近似に基づく複数の指標を導入する。 実験により、我々のメトリクスはゴールド標準の動的ネストサンプリングに匹敵する品質を示している。
  論文  参考訳（メタデータ） (2024-03-14T09:28:28Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Control as Hybrid Inference [62.997667081978825]
  本稿では、反復推論と償却推論のバランスを自然に仲介するCHIの実装について述べる。 連続的な制御ベンチマークでアルゴリズムのスケーラビリティを検証し、強力なモデルフリーおよびモデルベースラインを上回る性能を示す。
  論文  参考訳（メタデータ） (2020-07-11T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。