論文の概要: Towards Generalized Multi-Image Editing for Unified Multimodal Models

• arxiv url: http://arxiv.org/abs/2601.05572v1
• Date: Fri, 09 Jan 2026 06:42:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 17:41:49.871133
• Title: Towards Generalized Multi-Image Editing for Unified Multimodal Models
• Title（参考訳）: 統一マルチモーダルモデルのための一般化多重画像編集に向けて
• Authors: Pengcheng Xu, Peng Tang, Donghao Luo, Xiaobin Hu, Weichu Cui, Qingdong He, Zhennan Chen, Jiangning Zhang, Charles Ling, Boyu Wang,
• Abstract要約: 統一マルチモーダルモデル(UMM)は、マルチモーダル理解と生成を統合する。 UMMは、複数の入力画像にまたがる詳細を参照する場合、視覚的一貫性の維持と視覚的手がかりの曖昧さに制限される。 画像の同一性を明確に識別し、可変入力数に一般化するUMMのためのスケーラブルなマルチイメージ編集フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.620038824933566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified Multimodal Models (UMMs) integrate multimodal understanding and generation, yet they are limited to maintaining visual consistency and disambiguating visual cues when referencing details across multiple input images. In this work, we propose a scalable multi-image editing framework for UMMs that explicitly distinguishes image identities and generalizes to variable input counts. Algorithmically, we introduce two innovations: 1) The learnable latent separators explicitly differentiate each reference image in the latent space, enabling accurate and disentangled conditioning. 2) The sinusoidal index encoding assigns visual tokens from the same image a continuous sinusoidal index embedding, which provides explicit image identity while allowing generalization and extrapolation on a variable number of inputs. To facilitate training and evaluation, we establish a high-fidelity benchmark using an inverse dataset construction methodology to guarantee artifact-free, achievable outputs. Experiments show clear improvements in semantic consistency, visual fidelity, and cross-image integration over prior baselines on diverse multi-image editing tasks, validating our advantages on consistency and generalization ability.
• Abstract（参考訳）: Unified Multimodal Models (UMM) はマルチモーダル理解と生成を統合しているが、複数の入力画像にまたがる詳細を参照する場合、視覚的一貫性の維持と視覚的手がかりの曖昧さに制限されている。 本研究では,画像の同一性を明確に識別し,可変入力数に一般化するUMMのためのスケーラブルなマルチイメージ編集フレームワークを提案する。 アルゴリズムでは2つの革新を紹介します。 1)学習可能な遅延分離器は,各参照画像を遅延空間内で明確に区別し,正確かつ不整合な条件付けを可能にする。 2) 正弦波インデックス符号化では,同一画像からの視覚トークンを連続正弦波インデックス埋め込みとして割り当てる。 トレーニングと評価を容易にするために,逆データセット構築手法を用いて高忠実度ベンチマークを構築し,成果物のない,達成可能な出力を保証する。 実験により, セマンティック一貫性, 視覚的忠実度, 複数画像編集タスクの事前ベースラインに対するクロスイメージ統合が向上し, 一貫性と一般化能力に対する優位性を検証した。

関連論文リスト

• TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models [96.41974190202642]
  統一マルチモーダルモデル(UMM)は,単一のフレームワーク内でのマルチモーダル理解と生成を共同で行うことを目的としている。 本稿では、VAEエンコーダを表現エンコーダでカスケードすることで、統一された連続的な視覚表現を構築するネイティブUMMであるTUNAを提案する。
  論文  参考訳（メタデータ） (2025-12-01T18:59:51Z)
• LAMIC: Layout-Aware Multi-Image Composition via Scalability of Multimodal Diffusion Transformer [32.9330637921386]
  LAMICはレイアウト対応のマルチイメージコンポジションフレームワークである。 単一の参照拡散モデルをトレーニング不要な方法でマルチ参照シナリオに拡張する。 ID-S、BG-S、IN-R、AVGのスコアにおいて、既存のマルチ参照ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-08-01T09:51:54Z)
• Omni-ID: Holistic Identity Representation Designed for Generative Tasks [75.29174595706533]
  Omni-IDは、様々な表現にまたがる個人の外観に関する全体的な情報をエンコードする。 様々な数の非構造化入力画像から情報を構造化表現に集約する。 様々な生成タスクにまたがる従来の表現よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-12-12T19:21:20Z)
• EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM [38.8308841469793]
  本稿では,複数の参照画像とテキストプロンプトに拡散モデルを条件付けできる新しいプラグイン・アンド・プレイ適応手法であるEasyRefを紹介する。 我々は,マルチモーダル大言語モデル(MLLM)のマルチモーダル理解と命令追従機能を活用し,複数の画像内の一貫した視覚的要素を利用する。 実験の結果、EasyRefはIP-Adapterのようなチューニング不要の手法とLoRAのようなチューニングベース手法の両方を超越し、様々な領域で優れた美的品質と堅牢なゼロショットの一般化を実現している。
  論文  参考訳（メタデータ） (2024-12-12T18:59:48Z)
• Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [60.20318058777603]
  一般化可能な車両再識別(ReID)は、微調整や再訓練を必要とせず、未知のターゲットドメインに適応可能なモデルの開発を目指している。 これまでの研究は主に、ソースドメイン間のデータ分散を調整することで、ドメイン不変の機能の抽出に重点を置いてきた。 そこで本研究では,この問題を解決するために,2段階のMulti-expert Knowledge Confrontation and Collaboration(MiKeCoCo)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T04:06:39Z)
• MVAM: Multi-View Attention Method for Fine-grained Image-Text Matching [65.87255122130188]
  画像テキストマッチングのためのMVAM(Multi-view Attention Method)を提案する。 また、入力データの異なる側面に注目するよう注意を喚起する目的も取り入れている。 提案手法により,異なる視点から画像やテキストをエンコードし,より重要な詳細に焦点を合わせることが可能となり,マッチング性能が向上する。
  論文  参考訳（メタデータ） (2024-02-27T06:11:54Z)
• Multi-Image Summarization: Textual Summary from a Set of Cohesive Images [17.688344968462275]
  本稿では,マルチイメージ要約の新しい課題を提案する。 入力画像のコヒーレントな集合から簡潔で記述的なテキスト要約を生成することを目的としている。 密度の高い平均画像特徴集約ネットワークにより、モデルは属性のコヒーレントなサブセットに集中することができる。
  論文  参考訳（メタデータ） (2020-06-15T18:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。