論文の概要: Illuminating Visual Identity in Universal Multimodal Embeddings

• arxiv url: http://arxiv.org/abs/2608.01794v1
• Date: Mon, 03 Aug 2026 07:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.367541
• Title: Illuminating Visual Identity in Universal Multimodal Embeddings
• Title（参考訳）: ユニバーサル・マルチモーダル・エンベディングにおける視覚的アイデンティティのイルミネーション
• Abstract要約: Universal Multimodal Embeddings (UME) は、様々なモダリティやタスクを共有表現空間に統合することを目的としている。 VisIDは、評価とトレーニングをサポートするために、実世界のデータセットと合成データセットの両方からキュレートされたベンチマークである。 提案手法は,強い識別識別能力を持つUMEの実現に成功し,競争力のある汎用マルチモーダル性能を維持している。
• 参考スコア（独自算出の注目度）: 37.019281173484764
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Universal Multimodal Embeddings (UMEs) aim to unify various modalities and tasks into a shared representation space. In recent years, this field has witnessed substantial progress driven by the development of Multimodal Large Language Models (MLLMs). However, a crucial capability, visual identity discrimination, remains underexplored in existing UME methods, despite its critical role in a wide range of tasks, including instance retrieval, re-identification, and identity preservation in AI-generated content. To bridge this gap, we propose a unified formulation for visual identity discrimination~(VisID) and introduce $\textbf{MVEB}$ ($\textbf{M}$ultimodal $\textbf{V}$isual Identity $\textbf{E}$mbedding $\textbf{B}$enchmark), a large-scale benchmark curated from both real-world and synthetic datasets to support evaluation and training. Furthermore, we present a simple yet effective learning framework that jointly optimizes general multimodal and visual identity representations through a carefully designed identity-aware sampling mechanism. Extensive experiments demonstrate that our approach successfully endows UMEs with strong identity discrimination capability and maintains competitive general multimodal performance. We believe this work not only illuminates a critical yet neglected capability, but also takes a step toward more holistic universal multimodal embeddings. Code and data are available at \href{https://chrisclear3.github.io/MVEB}{MVEB}.
• Abstract（参考訳）: Universal Multimodal Embeddings (UME) は、様々なモダリティやタスクを共有表現空間に統合することを目的としている。 近年、MLLM(Multimodal Large Language Models)の開発により、この分野が大幅に進展している。 しかし、既存のUME手法では、インスタンス検索、再識別、AI生成コンテンツにおけるアイデンティティの保存など、幅広いタスクにおいて重要な役割を担っているにもかかわらず、重要な能力である視覚的アイデンティティの識別はいまだに過小評価されていない。 このギャップを埋めるために、視覚的識別のための統一的な定式化(VisID)を提案し、評価とトレーニングをサポートするために実世界のデータセットと合成データセットからキュレートされた大規模ベンチマークである$\textbf{MVEB}$$$$\textbf{M}$ultimodal $\textbf{V}$isual Identity $\textbf{E}$mbedding $\textbf{B}$enchmarkを導入する。 さらに, 汎用マルチモーダルと視覚的アイデンティティ表現を協調的に最適化する簡易かつ効果的な学習フレームワークを提案する。 大規模実験により,UMEの識別能力は向上し,汎用マルチモーダル性能の維持が図られた。 この研究は、批判的かつ無視された能力を照らし出すだけでなく、より包括的な普遍的マルチモーダル埋め込みに向けて一歩踏み出すと信じている。 コードとデータは \href{https://chrisclear3.github.io/MVEB}{MVEB} で公開されている。

関連論文リスト

• WorldBench: A Challenging and Visually Diverse Multimodal Reasoning Benchmark [85.74548332724977]
  複数のドメインにまたがって数千の視覚概念の分類を構築します。 我々はフロンティアMLLMが答えられない挑戦的な質問を手動で設計する。 WorldBenchは、既存のさまざまなベンチマークよりも高い視覚的多様性を実現している。
  論文  参考訳（メタデータ） (2026-06-04T01:11:21Z)
• UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark [72.37370242707432]
  本稿では,Unified Any-to-Any Interleaved MultimodalデータセットであるUniMベンチマークを紹介する。 UniMには30ドメインにわたる31Kの高品質インスタンスと7つの代表モダリティが含まれている。 セマンティック・コヒーレンス(Semantic Correctness & Generation Quality)、応答構造整合性(Re Response Structure Integrity)、インターリーブド・コヒーレンス(Interleaved Coherence)という3次元のモデルを評価する。
  論文  参考訳（メタデータ） (2026-03-05T11:45:16Z)
• UnifiedVisual: A Framework for Constructing Unified Vision-Language Datasets [51.284864284520744]
  統合視覚大言語モデル(VLLM)は、最近、マルチモーダル理解と生成の両方において顕著な進歩を遂げている。 本稿では,新しいデータセット構築フレームワークUnifiedVisualを導入し,UnifiedVisual-240Kを提案する。 UnifiedVisual-240Kは、様々な視覚的およびテキスト的入力と出力をシームレスに統合し、包括的なクロスモーダル推論を可能にする。
  論文  参考訳（メタデータ） (2025-09-18T08:39:44Z)
• UMO: Scaling Multi-Identity Consistency for Image Customization via Matching Reward [15.094319754425468]
  UMOは,高忠実度ID保存の維持と,拡張性によるアイデンティティの混乱の軽減を目的としたフレームワークである。 UMOはマルチ・ツー・マルチマッチング(multi-to-multi matching)パラダイムを用いて、グローバルな割り当て最適化問題としてマルチアイデンティティ生成を再構成する。 我々は,合成部品と実部品の両方からなるマルチ参照画像を用いたスケーラブルなカスタマイズデータセットを開発した。
  論文  参考訳（メタデータ） (2025-09-08T15:54:55Z)
• True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
  MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。 現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。 視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
  論文  参考訳（メタデータ） (2025-07-21T17:08:18Z)
• ReID5o: Achieving Omni Multi-modal Person Re-identification in a Single Model [59.00754756072231]
  Omni Multi-modal Person Re-identification (OM-ReID) と呼ばれる新しい課題について検討する。 ORBenchは、5つのモダリティにまたがる1,000のユニークなIDからなる最初の高品質なマルチモーダルデータセットである。 また,ReIDのための新しいマルチモーダル学習フレームワークであるReID5oを提案する。
  論文  参考訳（メタデータ） (2025-06-11T04:26:13Z)
• Multimodal Representation Learning Techniques for Comprehensive Facial State Analysis [5.795431510723275]
  マルチモーダル顔状態解析のための包括的パイプラインを提案する。 本稿では,アクション・ユニット(AU)と感情認識に適した,新しいマルチレベル・マルチモーダル・フェイス・ファンデーション・モデル(MF2)を提案する。 実験は、AUと感情検出タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-04-14T16:00:57Z)
• ChatReID: Open-ended Interactive Person Retrieval via Hierarchical Progressive Tuning for Vision Language Models [49.09606704563898]
  人物の再識別はコンピュータビジョンにおいて重要な課題であり、重複しないカメラビューを通して個人を認識することを目的としている。 本稿では,テキストを優先した検索パラダイムに焦点を移し,フレキシブルかつインタラクティブな再識別を可能にする新しいフレームワークChatReIDを提案する。 本稿では,人物属性の理解からきめ細かい画像検索,マルチモーダルタスク推論に至るまで,3段階のチューニングを通じてRe-ID能力を実現する階層的プログレッシブチューニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-02-27T10:34:14Z)
• Leveraging Entity Information for Cross-Modality Correlation Learning: The Entity-Guided Multimodal Summarization [49.08348604716746]
  Multimodal Summarization with Multimodal Output (MSMO) は、テキストと関連する画像の両方を統合するマルチモーダル要約を作成することを目的としている。 本稿では,Entity-Guided Multimodal Summarization Model (EGMS)を提案する。 我々のモデルは,BART上に構築され,共有重み付きデュアルマルチモーダルエンコーダを用いて,テキスト画像とエンティティ画像情報を並列に処理する。
  論文  参考訳（メタデータ） (2024-08-06T12:45:56Z)
• IWISDM: Assessing instruction following in multimodal models at scale [1.2320972303448239]
  我々は,視覚言語タスクの無制限な配列を生成するために,指示された仮想VISual Decision Making (iWISDM)環境を紹介する。 iWISDMを用いて,様々な複雑性レベルにわたる視覚課題に追従する命令の3つの異なるベンチマークをコンパイルした。 本研究は,既存のマルチモーダルモデルと創発的マルチモーダルモデルの両方の命令順守性を評価するための頑健なベンチマークとしてiWISDMを確立した。
  論文  参考訳（メタデータ） (2024-06-20T14:09:54Z)
• All in One Framework for Multimodal Re-identification in the Wild [58.380708329455466]
  オールインワン(AIO)という,ReID導入のためのマルチモーダル学習パラダイム AIOは、凍結したトレーニング済みのビッグデータをエンコーダとして利用し、追加の微調整なしに効果的なマルチモーダル検索を可能にする。 クロスモーダルおよびマルチモーダルReIDの実験により、AIOは様々なモーダルデータを扱うだけでなく、困難な状況でも優れていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-08T01:04:36Z)
• Decoupling Common and Unique Representations for Multimodal Self-supervised Learning [22.12729786091061]
  マルチモーダルな自己教師型学習のための簡易かつ効果的な方法として,Decoupling Common and Unique Representations (DeCUR)を提案する。 マルチモーダル冗長性低減によるモーダル内埋め込みとモーダル内埋め込みを区別することにより、DeCURは異なるモーダル間で補完情報を統合できる。
  論文  参考訳（メタデータ） (2023-09-11T08:35:23Z)
• D$^2$TV: Dual Knowledge Distillation and Target-oriented Vision Modeling for Many-to-Many Multimodal Summarization [113.72253589338472]
  many-to-many multimodal summarization (M$3$S) タスクは、どんな言語でも文書入力と対応する画像シーケンスで要約を生成することを目的としている。 本稿では,M$3$Sタスクのための二重知識蒸留と目標指向視覚モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-22T06:47:35Z)
• Deep Multimodal Fusion for Generalizable Person Re-identification [15.250738959921872]
  DMF(ディープ・マルチモーダル・フュージョン)は、個人再識別タスクの一般的なシナリオのためのディープ・マルチモーダル・フュージョン・ネットワークである。 事前学習段階における特徴表現学習を支援するために、リッチな意味知識が導入される。 実世界の分散アライメントのための事前訓練されたモデルを微調整するために、現実的なデータセットが採用されている。
  論文  参考訳（メタデータ） (2022-11-02T07:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。