論文の概要: X-MULTI: VLM-based Imaging Factor Disentanglement for Factor-Aware Image Synthesis

• arxiv url: http://arxiv.org/abs/2608.24563v1
• Date: Tue, 25 Aug 2026 13:45:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.007528
• Title: X-MULTI: VLM-based Imaging Factor Disentanglement for Factor-Aware Image Synthesis
• Title（参考訳）: X-MULTI: 因子認識画像合成のためのVLMによる画像分解
• Abstract要約: テキスト・ツー・画像生成における画像係数の歪みは,カメラレンズの種類,センサタイプ,視点,領域などの画像取得特性を独立に制御することを目的としている。 最近の研究であるMultiは、非角画像要素に対する学習可能な因子特異的埋め込みと、非角画像品質を評価するための因子調整精度(Factor Alignment Accuracy, FAA)指標を導入している。 本稿では、事前学習された視覚言語モデル(VLM)を用いて、学習中に合成された新しい因子の組み合わせを監督するX-MULTIを提案する。
• 参考スコア（独自算出の注目度）: 17.38828363730239
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Imaging factor disentanglement in text-to-image generation aims to independently control image acquisition properties such as types of camera lenses, sensor types, viewpoints, and domains to enable combinatorial generalization. This should let the model synthesize novel factor combinations unobserved in the training data, such as pairing a fisheye lens with an event sensor never observed in training data. Recent work, MULTI, introduced learnable, factor-specific embeddings to disentangle imaging factors, along with the Factor Alignment Accuracy (FAA) metric to evaluate disentanglement quality. We identify and address two independent limitations. First, MULTI's pixel-level reconstruction objective supervises the model only on observed imaging factor combinations, providing no direct training signal for novel combinations. We therefore propose X-MULTI, which uses a pretrained vision-language model (VLM) to supervise novel factor combinations synthesized during training. Second, we show the FAA metric exhibits severe cross-factor correlation leakage, misrepresenting true disentanglement quality. We therefore propose Improved-FAA (I-FAA), which employs factor-specific augmentation strategies to break these correlations and enables more rigorous evaluation. Experiments demonstrate that X-MULTI achieves improved factor alignment on novel combinations compared to MULTI. Moreover, we show that correlation leakage in FAA distorts the evaluation of true factor disentanglement and I-FAA reduces this leakage and therefore provides a more robust assessment of factor alignment.
• Abstract（参考訳）: テキスト・ツー・画像生成における画像係数の歪みは、カメラレンズの種類、センサータイプ、視点、ドメインなどの画像取得特性を独立に制御し、組合せ一般化を可能にすることを目的としている。 これにより、トレーニングデータでは観測されない魚眼レンズとイベントセンサーとのペアリングのような、トレーニングデータに保存されていない新しい因子の組み合わせをモデルが合成できるようになる。 最近の研究であるMultiは、非角画像要素に対する学習可能な因子特異的埋め込みと、非角画像品質を評価するための因子調整精度(Factor Alignment Accuracy, FAA)指標を導入している。 我々は2つの独立した制限を特定し、対処する。 まず、Multiの画素レベルの再構成目的は、観測された画像係数の組み合わせのみを監督し、新しい組み合わせのための直接訓練信号を提供しない。 そこで本研究では、事前学習された視覚言語モデル(VLM)を用いて、学習中に合成された新しい因子の組み合わせを監督するX-MULTIを提案する。 第2に、FAAのメトリクスは、真に不整合の品質を誤った、深刻なクロスファクター相関のリークを示す。 そこで我々は,これらの相関関係を破り,より厳密な評価を可能にする因子特異的拡張戦略を採用した改良型FAA(I-FAA)を提案する。 実験により,X-MULTIはMultiに比べて新しい組み合わせの因子アライメントが向上することが示された。 さらに, FAAの相関漏れは真の要因の絡み合いの評価を歪め, I-FAAはこのリークを減らし, 因子アライメントのより堅牢な評価を提供することを示す。

関連論文リスト

• Diff-CA: Separating Common and Salient Factors with Diffusion Models [43.80684668106847]
  生成品質を損なうことなくコントラスト分解が可能な拡散モデルのための新しい条件付けフレームワークを提案する。 先行研究で一般的に仮定される付加的コントラスト分解は、穏やかな条件下で同定可能であることを証明した。 この因子化は、正常な係数のみをスワップまたは補間することで、ターゲット操作を可能にする。
  論文  参考訳（メタデータ） (2026-06-04T13:07:18Z)
• Multi-Modal Landslide Detection from Sentinel-1 SAR and Sentinel-2 Optical Imagery Using Multi-Encoder Vision Transformers and Ensemble Learning [0.0]
  地すべりは、人間の生活、インフラ、生態系に深刻な影響を与えている主要なジオハザードである。 本研究では、Sentinel-1 Synthetic Aperture Radar(SAR)データとSentinel-2光画像を融合したモジュラー・マルチモデルフレームワークを提案する。 提案手法は地すべり検出における最先端F1スコア0.919を達成する。
  論文  参考訳（メタデータ） (2026-04-07T14:51:05Z)
• Synthetic Defect Image Generation for Power Line Insulator Inspection Using Multimodal Large Language Models [3.72557681438567]
  ドローンの画像を定期的な検査に頼っている企業が増えているが、正確な欠陥型分類器の訓練は依然として難しい。 トレーニング不要な画像生成装置として,既製のマルチモーダル大言語モデル(MLLM)を用いて,このデータスカシティ設定に対処する。 現実的な低トレーニングデータ構造を持つ公開データセットを用いたセラミック絶縁体欠陥型分類の評価を行った。
  論文  参考訳（メタデータ） (2026-03-09T08:06:27Z)
• Unsupervised Decomposition and Recombination with Discriminator-Driven Diffusion Models [41.14254731598591]
  複雑なデータを因子化表現に分解することで、再利用可能なコンポーネントを明らかにし、コンポーネントの再結合を通じて新しいサンプルを可能にする。 本研究では,ソース間の因子の組換えにより生成したサンプルとを識別するために訓練された識別器を介して,逆方向のトレーニング信号を導入する。 提案手法は,CelebA-HQ,Virtual KITTI,CLEVR,Falcor3Dにおける先行ベースラインの実装よりも優れており,MIGとMCCが測定したより低いFIDスコアとより良いアンタングルを実現している。
  論文  参考訳（メタデータ） (2026-01-29T17:57:06Z)
• Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
  顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。 本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。 本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
  論文  参考訳（メタデータ） (2024-11-28T13:04:45Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment [45.62136459502005]
  本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。 まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。 FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。 エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-14T11:03:04Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Disentangled Contrastive Collaborative Filtering [36.400303346450514]
  グラフコントラスト学習(GCL)は、監督ラベル不足問題に対処する上で、強力な性能を示した。 本稿では,自己監督型拡張による意図的ゆがみを実現するために,DCCF(Disentangled Contrasative Collaborative Filtering framework)を提案する。 我々のDCCFは、絡み合った自己超越信号からより微細な潜伏因子を蒸留できるだけでなく、増大による騒音を軽減することができる。
  論文  参考訳（メタデータ） (2023-05-04T11:53:38Z)
• Proactive Pseudo-Intervention: Causally Informed Contrastive Learning For Interpretable Vision Models [103.64435911083432]
  PPI(Proactive Pseudo-Intervention)と呼ばれる新しい対照的な学習戦略を提案する。 PPIは、因果関係のない画像の特徴を保護するために積極的に介入する。 また,重要な画像画素を識別するための,因果的に通知された新たなサリエンスマッピングモジュールを考案し,モデル解釈の容易性を示す。
  論文  参考訳（メタデータ） (2020-12-06T20:30:26Z)
• Semi-Supervised StyleGAN for Disentanglement Learning [79.01988132442064]
  現在の解離法は、いくつかの固有の制限に直面している。 半教師付き高分解能ディスタングル学習のためのStyleGANに基づく新しいアーキテクチャと損失関数を設計する。
  論文  参考訳（メタデータ） (2020-03-06T22:54:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。