論文の概要: MUNITE: Unified Multimodal Latent Inference for Any-to-Any Multimodal Generation

• arxiv url: http://arxiv.org/abs/2610.09866v1
• Date: Wed, 07 Oct 2026 11:27:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.874541
• Title: MUNITE: Unified Multimodal Latent Inference for Any-to-Any Multimodal Generation
• Title（参考訳）: MUNITE:任意のマルチモーダル生成のための統一型マルチモーダル遅延推論
• Abstract要約: MUNITEは、任意のマルチモーダル生成を柔軟にするための潜在変数フレームワークである。 エンコーディングと潜伏生成を、異なる量の観察された証拠の下で同じ推論問題として扱う。
• 参考スコア（独自算出の注目度）: 29.338980776468834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce MUNITE, a latent-variable framework for flexible any-to-any multimodal generation that treats encoding and latent generation as the same inference problem under different amounts of observed evidence. Given any subset of modalities, MUNITE models the conditional distribution over the latent representation associated with the complete observation. Full observation recovers deterministic encoding, no observation recovers the latent marginal, and intermediate subsets define conditional latent inference, all within a single conditional flow model. A shared latent sample captures variation that must remain consistent across generated targets, while modality-specific generative decoders model the remaining uncertainty independently. To learn these conditional distributions from incomplete training examples, we extend conditional flow matching through self-distillation: predictions conditioned on richer available observations supervise the same model conditioned on smaller subsets at the same intermediate latent state. When the richer-evidence trajectory follows the exact conditional flow, this provides the same expected learning signal as full-target denoising. Across PolyMNIST-D-Q, FFHQ64, and image-text-audio, MUNITE achieves competitive or better generation quality and source-target alignment, with higher joint-generation coherence. In particular, it attains the highest coherence in all one-to-many and unconditional image-text-audio comparisons, showing the effectiveness of unified latent inference across diverse multimodal settings.
• Abstract（参考訳）: 我々は、エンコーディングと潜伏生成を異なる量の観察証拠の下で同一の推論問題として扱う、任意のマルチモーダル生成を柔軟にするための潜在変数フレームワークであるMUNITEを紹介する。 モダリティの任意の部分集合が与えられたとき、MUNITEは完全な観測に関連する潜在表現上の条件分布をモデル化する。 完全な観察は決定論的符号化を回復し、観測は潜在限界を回復せず、中間部分集合は条件付き潜在推論を定義する。 共有潜在サンプルは、生成されたターゲット間で一貫性が保たなければならない変動をキャプチャし、モダリティ固有の生成デコーダは、残りの不確実性を独立にモデル化する。 不完全学習例からこれらの条件分布を学習するために, 自己蒸留による条件流マッチングを拡張した: よりリッチな可観測で条件付けられた予測は, 同一中間潜水状態の小さな部分集合で条件付けられた同じモデルを監督する。 リッチ・エビデンス・トラジェクトリが正確な条件フローに従うと、これはフルターゲット・デノイングと同じ期待された学習信号を提供する。 PolyMNIST-D-Q, FFHQ64, Image-text-audio の他、MUNITE は競合的あるいはより良い生成品質とソース・ターゲットアライメントを実現し、より高いジョイント・ジェネレーション・コヒーレンスを実現している。 特に,一対多および無条件の画像・テキスト・オーディオ比較において最も一貫性が高く,多様なマルチモーダル設定における統一潜在推論の有効性を示す。

関連論文リスト

• MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation [26.862922663735347]
  MUNIは、あらゆる世代のためのエンドツーエンドのマルチモーダル遅延拡散フレームワークである。 サブセット条件のクロスモーダル生成と共有潜水器による非条件結合サンプリングを統一する。 MUNIは2つの補完的な貢献に依存している。
  論文  参考訳（メタデータ） (2026-06-15T08:46:48Z)
• COP-GEN: Latent Diffusion Transformer for Copernicus Earth Observation Data -- Generation Stochastic by Design [9.278432103577925]
  地球観測の応用は、光学、レーダー、標高、土地被覆製品を含む複数のセンサーのデータにますます依存している。 本研究では,不均一な地球観測モードの空間分解能の共分散をモデルとした潜時拡散変換器COP-GENを紹介する。 大規模なグローバルマルチモーダルデータセットの実験では、COP-GENは光学、レーダー、高度のモードで強いピーク忠実性を維持しながら、多種多様な物理的に一貫した実現を生成する。
  論文  参考訳（メタデータ） (2026-03-03T18:31:46Z)
• Harnessing Consistency for Robust Test-Time LLM Ensemble [88.55393815158608]
  CoREは、堅牢なLLMアンサンブルにモデル一貫性を利用するプラグイン・アンド・プレイ技術である。 トークンレベルの一貫性は、ダウンウェイト不確実なトークンにローパスフィルタを適用することで、きめ細かい不一致を捕捉する。 モデルレベルの一貫性は、自己自信の高いモデル出力を促進することで、グローバルな合意をモデル化する。
  論文  参考訳（メタデータ） (2025-10-12T04:18:45Z)
• Are Any-to-Any Models More Consistent Across Modality Transfers Than Specialists? [14.044169097789034]
  ACONは、字幕、編集命令、Q&Aペアと組み合わせた1000枚の画像からなるデータセットで、モーダル間転送を評価する。 実験の結果,任意のモデルが,ポイントワイド評価において,特定のモデルよりも一貫した相互整合性を示さないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-30T04:51:54Z)
• Consistent World Models via Foresight Diffusion [56.45012929930605]
  我々は、一貫した拡散に基づく世界モデルを学習する上で重要なボトルネックは、最適下予測能力にあると主張している。 本稿では,拡散に基づく世界モデリングフレームワークであるForesight Diffusion(ForeDiff)を提案する。
  論文  参考訳（メタデータ） (2025-05-22T10:01:59Z)
• Bridging the inference gap in Mutimodal Variational Autoencoders [6.246098300155483]
  マルチモーダル変分オートエンコーダは、観測されたモダリティから観測されていないモダリティを生成するための多目的でスケーラブルな方法を提供する。 エキスパートの混合集合を用いた最近のモデルは、複雑なデータセットにおける生成品質を制限する理論的に基礎的な制限に悩まされている。 本稿では,混合アグリゲーションを導入することなく,結合分布と条件分布の両方を学習できる新しい解釈可能なモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-06T10:43:55Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Breaking the Spurious Causality of Conditional Generation via Fairness Intervention with Corrective Sampling [77.15766509677348]
  条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。 これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。 この問題を緩和するための一般的な2段階戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-05T08:09:33Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。