論文の概要: Long-Tail Adaptive Flow Matching with Explicit Conditional Consistency Guidance for Precise Multimodal Face Synthesis
- arxiv url: http://arxiv.org/abs/2609.29581v1
- Date: Mon, 14 Sep 2026 06:35:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.079799
- Title: Long-Tail Adaptive Flow Matching with Explicit Conditional Consistency Guidance for Precise Multimodal Face Synthesis
- Title（参考訳）: 高精度なマルチモーダル顔合成のための明示的条件整合性誘導とロングテール適応流マッチング
- Abstract要約: ECtextsuperscript2Faceは、明示的なセマンティック監督と分散対応最適化によってセマンティックアライメントを改善する。
実験によると、ECtextsuperscript2Faceは、生成品質とセマンティックアライメントの両方において、競争上のベースラインを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 35.08747257181649
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Although diffusion-based methods have substantially improved the controllability of multimodal face synthesis, their semantic alignment remains suboptimal because most existing approaches rely on implicit latent-space objectives to model the relationship between denoising variables and multimodal conditions. Such implicit modeling is often insufficient to enforce precise correspondence between synthesized faces and conditional inputs, especially under long-tailed semantic mask distributions where rare attributes receive weak optimization signals. To address these limitations, we propose EC\textsuperscript{2}Face, a multimodal face synthesis framework that improves semantic alignment through explicit semantic supervision and distribution-aware optimization. First, we introduce Explicit Conditional Consistency Guidance (ECCG), which imposes direct consistency supervision in pixel space by decoding an approximate reverse estimate of the clean latent and explicitly aligning the synthesized image with textual descriptions and semantic masks. A temporal dynamic modulation function is further designed to adapt the supervision strength according to the timestep-dependent reliability of reverse estimation. Second, we propose Long-Tail Adaptive Flow Matching (LAFM), which reweights spatial optimization signals based on semantic attribute frequency, with normalized weights to maintain numerical stability during training. Importantly, all additional modules are used only during training and introduce no extra inference overhead. Extensive experiments show that EC\textsuperscript{2}Face consistently outperforms competitive baselines in both generation quality and semantic alignment, achieving a 29.38\% improvement in mask accuracy on rare attributes.
- Abstract（参考訳）: 拡散法は多モード顔合成の制御性を大幅に向上させたが、その意味的アライメントは、ほとんどの既存手法は暗黙の潜在空間の目的に依存して、発声変数とマルチモーダル条件の関係をモデル化するため、最適に保たれている。
このような暗黙的モデリングは、特に稀な属性が弱い最適化信号を受ける長い尾のセマンティックマスク分布において、合成顔と条件入力の正確な対応を強制するには不十分であることが多い。
これらの制約に対処するために、明示的な意味的監督と分布認識最適化を通じて意味的アライメントを改善する多モーダル顔合成フレームワークであるEC\textsuperscript{2}Faceを提案する。
まず,クリーン潜像の近似逆推定を復号し,合成画像とテキスト記述とセマンティックマスクを明示的に整合させることにより,画素空間における直接整合性管理を強制するExplicit Conditional Consistency Guidance (ECCG)を導入する。
さらに、時間に依存した逆推定の信頼性に応じて、監督強度に適応するように時間的動的変調関数を設計する。
次に,Long-Tail Adaptive Flow Matching (LAFM)を提案する。
重要なのは、追加モジュールはすべてトレーニング時にのみ使用され、追加の推論オーバーヘッドは発生しないことだ。
EC\textsuperscript{2}Faceは、生成品質とセマンティックアライメントの両方において競争ベースラインを一貫して上回り、稀な属性に対するマスク精度が29.38倍に向上した。
関連論文リスト
- Large-Small Model Collaboration for Zero-Shot Surgical Phase Recognition [45.191945465591374]
外科的位相認識のためのタスク固有の軽量モデルは、時間的ダイナミクスを捉えるのに優れているが、ドメインシフト下での一般化は不十分である。
textbfLarge-textbfSmall textbfTemporal adaptation (textbfLaST)を提案する。
論文 参考訳（メタデータ） (2026-08-24T07:06:52Z) - VLM2Rec: Resolving Modality Collapse in Vision-Language Model Embedders for Multimodal Sequential Recommendation [15.053120780189461]
逐次レコメンデーションのためのマルチモーダルエンコーダとしての視覚言語モデル(VLM)について検討する。
標準コントラスト制御微調整(SFT)は、その固有のモダリティ崩壊を増幅する。
本稿では,VLMの組込み型フレームワークであるVLM2Recを提案する。
論文 参考訳（メタデータ） (2026-03-18T07:46:30Z) - IdGlow: Dynamic Identity Modulation for Multi-Subject Generation [23.20674988897558]
We present IdGlow, a mask-free, progressive two-stage framework built on Flow Matching diffusion model。
教師付き微調整(SFT)の段階では、拡散生成力学に対応するタスク適応型時間ステップスケジューリングを導入する。
第2段階では,マルチオブジェクトアーティファクトを同時に除去するために,重み付きマージンの定式化を施したファイングラインド・グループレベル直接選好最適化(DPO)を設計する。
論文 参考訳（メタデータ） (2026-02-28T11:56:34Z) - Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。
階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。
提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2026-01-07T16:21:19Z) - Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。
具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
論文 参考訳（メタデータ） (2025-11-24T04:10:46Z) - WaveSeg: Enhancing Segmentation Precision via High-Frequency Prior and Mamba-Driven Spectrum Decomposition [61.3530659856013]
本稿では,空間およびウェーブレット領域の機能改善を共同で最適化する新しいデコーダアーキテクチャであるWaveSegを提案する。
高周波成分は、まず入力画像から、境界の詳細を強化するために明示的な先行として学習される。
標準ベンチマークの実験では、Mambaベースの注目に先立ってウェーブレット-ドメイン周波数を利用するWaveSegが、常に最先端のアプローチより優れていることが示されている。
論文 参考訳（メタデータ） (2025-10-24T01:41:31Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳（メタデータ） (2025-09-03T18:05:02Z) - Learning from Heterogeneity: Generalizing Dynamic Facial Expression Recognition via Distributionally Robust Optimization [23.328511708942045]
Heterogeneity-Aware Distributional Framework (HDF) は、時間周波数モデリングを強化し、ハードサンプルによる不均衡を軽減するために設計された。
時間周波数分散アテンションモジュール(DAM)は、時間的一貫性と周波数ロバスト性の両方をキャプチャする。
適応最適化モジュール 分散対応スケーリングモジュール (DSM) は、動的に分類と対照的な損失のバランスをとるために導入された。
論文 参考訳（メタデータ） (2025-07-21T16:21:47Z) - Latent Diffusion Model Based Denoising Receiver for 6G Semantic Communication: From Stochastic Differential Theory to Application [11.385703484113552]
生成人工知能(GAI)を利用した新しい意味コミュニケーションフレームワークを提案する。
意味的特徴抽出のための変分オートエンコーダを組み合わせた潜在拡散モデル(LDM)に基づくセマンティックコミュニケーションフレームワークを提案する。
提案システムはゼロショットの一般化をサポートし,低SNRおよびアウト・オブ・ディストリビューション条件下での優れた性能を実現する訓練自由フレームワークである。
論文 参考訳（メタデータ） (2025-06-06T03:20:32Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳（メタデータ） (2020-12-08T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。