論文の概要: Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation

• arxiv url: http://arxiv.org/abs/2606.26984v1
• Date: Thu, 25 Jun 2026 12:58:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.287672
• Title: Unison: Benchmarking Unified Multimodal Models via Synergistic Understanding and Generation
• Title（参考訳）: Unison: 相乗的理解と生成による統一マルチモーダルモデルのベンチマーク
• Abstract要約: 統一マルチモーダルモデルにおける共同理解と生成を評価するためのベンチマークであるUnisonを紹介する。 Unisonは2,169の高品質な統合タスクサンプルで構成されている。 また,人間の判断に適合した評価モデルであるUnison-Judgeを紹介する。
• 参考スコア（独自算出の注目度）: 80.99003754614365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unified multimodal models capable of both understanding and generation have achieved remarkable strides. However, despite their unified designs, existing evaluations typically assess understanding and generation capabilities in isolation, overlooking the synergy between comprehension and generation. To bridge this gap, we introduce Unison, a comprehensive benchmark comprising 2,169 high-quality unified task samples, designed to evaluate joint understanding and generation in unified multimodal models. Unison offers three key strengths: 1) Comprehensive Dimensions: Unison encompasses internal consistency, understanding-guided generation, generation-guided understanding, and mutual enhancement to enable holistic evaluation. 2) Diagnostic Evaluation: it provides both unified and decoupled tracks for understanding and generation, allowing fine-grained attribution of failure modes and quantitative analysis of the gains from unified modeling. 3) Human Alignment: we also introduce Unison-Judge, an evaluation model well aligned with human judgments to ensure reliable assessment. Based on systematic evaluations of state-of-the-art models on Unison, we uncover critical limitations in current unified multimodal systems and highlight promising directions for future research. Codes, Unison and Unison-Judge are publicly available at https://github.com/FudanCVL/Unison.
• Abstract（参考訳）: 理解と生成の両方が可能な統一マルチモーダルモデルは、顕著な進歩を遂げた。 しかし、その統一された設計にもかかわらず、既存の評価は、理解と生成の相乗効果を見越して、独立して理解と生成能力を評価するのが一般的である。 このギャップを埋めるために、2,169の高品質な統合タスクサンプルからなる総合ベンチマークUnisonを導入し、統一マルチモーダルモデルにおける共同理解と生成を評価する。 ユニソンには3つの重要な長所がある。 1)包括的次元:Unisonは内部整合性,理解誘導生成,世代誘導理解,相互強化を包含し,全体的評価を可能にする。 2) 診断評価: 統一されたトラックと分離されたトラックの両方を提供し, 故障モードのきめ細かい属性と, 統一されたモデリングから得られる利得の定量的分析を可能にする。 3) 人間のアライメント: 信頼性の高い評価を確保するために, 人的判断に整合した評価モデルであるUnison-Judgeを導入する。 Unisonの最先端モデルの体系的評価に基づいて、現在の統合マルチモーダルシステムの限界を明らかにし、将来の研究に向けた有望な方向性を明らかにする。 Codes、Unison、Unison-Judgeはhttps://github.com/FudanCVL/Unison.comで公開されている。

関連論文リスト

• A Model-Internal Protocol for Assessing Multimodal Models as Integrated Systems [19.780193072520575]
  現在の評価プロトコルは、生成的および識別的能力を個別のタスクとして扱う。 本稿では、セマンティッククローズドループチャレンジを通じて統一モデルの統合能力を探索する自己生成理解(SGU)を提案する。 このパイプラインは、UMMを統一システムとして評価するのに適した、統合されたパフォーマンススコアを提供するゼロコストテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-08-12T10:35:52Z)
• UniG2U-Bench: Do Unified Models Advance Multimodal Understanding? [50.92401586025528]
  統一マルチモーダルモデルは、最近強力な生成能力を示したが、生成が理解を改善したかどうかはまだ不明である。 提案するUniG2U-Benchは,G2U(Generation-to-understanding)評価を7つのシステマと30のサブタスクに分類する総合ベンチマークである。
  論文  参考訳（メタデータ） (2026-03-03T18:36:16Z)
• GenArena: How Can We Achieve Human-Aligned Evaluation for Visual Generation Tasks? [29.804627410258732]
  我々は、ペアワイズ比較パラダイムを活用する統一評価フレームワークを導入し、安定的かつ人道的な評価を確実にする。 提案手法は,評価精度を20%以上向上し,信頼性の高いLMArenaリーダボードとSpearmanの0.86の相関性を実現する。
  論文  参考訳（メタデータ） (2026-02-05T18:52:48Z)
• Quantifying the Gap between Understanding and Generation within Unified Multimodal Models [66.07644743841007]
  GapEvalは、理解と生成能力のギャップを定量化するために設計されたベンチマークである。 実験により、幅広いUMMにわたる2つの方向の連続的なギャップが明らかになる。 以上の結果から,UMM内の知識は相容れないことが多いことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T14:19:37Z)
• Uni-MMMU: A Massive Multi-discipline Multimodal Unified Benchmark [69.8473923357969]
  統一マルチモーダルモデルは、視覚的理解と生成を共同で行うことを目的としているが、現在のベンチマークでは、その真の統合を検査することはめったにない。 提案するUni-MMMUは、8つの推論中心領域にまたがる生成と理解の双方向の相乗効果を拡大する総合的なベンチマークである。
  論文  参考訳（メタデータ） (2025-10-15T17:10:35Z)
• RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
  本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。 RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。 現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
  論文  参考訳（メタデータ） (2025-09-29T15:07:28Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。