論文の概要: IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation

• arxiv url: http://arxiv.org/abs/2610.38425v1
• Date: Wed, 28 Oct 2026 08:09:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 10:40:08.538409
• Title: IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation
• Title（参考訳）: IntReal:マルチモーダルインターリーブ生成のための実世界のデータセットとベンチマーク
• Abstract要約: IntRealは4つの主要なカテゴリにまたがるマルチモーダルインターリーブサンプルの実際のデータセットである。 IntReal Evaluation Suiteは、7つの相補的な次元にわたるモデルパフォーマンスを評価する。 トレーニング後の実験は、インターリーブ世代を改善するためのIntReal-100Kの有用性を実証している。
• 参考スコア（独自算出の注目度）: 48.37509087391221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans routinely consume multimodal content, where textual and visual information is naturally interleaved. Although Unified Multimodal Models (UMMs) can jointly generate text and images, multimodal interleaved generation remains largely underexplored. Progress in this area is hindered by two key limitations: (1) the lack of well-defined interleaved generation tasks and corresponding training data, and (2) the absence of fine-grained evaluation protocols that can reliably diagnose model performance across different capability dimensions. To this end, we present IntReal, comprising two complementary components: IntReal-100K, a real-world dataset of multimodal interleaved samples spanning four major categories, and the IntReal Evaluation Suite, which evaluates model performance across seven complementary dimensions using specialized expert models, enabling coarse-to-fine diagnosis. Extensive experiments validate our evaluation suite through low inter-metric redundancy (max pairwise absolute Spearman's $ρ\leq 0.42$ ), high agreement with human judgments (83.3% accuracy), and strong consistency across different expert evaluators (Spearman's $ρ> 0.9$ ), supporting the complementarity and reliability of our metrics. By benchmarking four families of UMMs, we show that IntReal Evaluation Suite reveals distinct strengths and weaknesses across models. Post-training experiments demonstrate the utility of IntReal-100K for improving interleaved generation and further show that training unimodal generation can also benefit interleaved generation. These findings suggest that interleaved generation can benefit from modality-specific optimization, rather than requiring joint text-image training at every stage.
• Abstract（参考訳）: 人間は、テキストと視覚情報が自然にインターリーブされるマルチモーダルコンテンツを日常的に消費する。 Unified Multimodal Models (UMMs) はテキストと画像を共同で生成できるが、マルチモーダルインターリーブ生成は未探索のままである。 この領域の進展は,(1) 厳密なインターリーブ生成タスクの欠如と,(2) 異なる機能範囲でモデル性能を確実に診断できるきめ細かな評価プロトコルの欠如という,2つの重要な制約によって妨げられている。 IntReal-100Kは4つの主要なカテゴリにまたがるマルチモーダル・インターリーブド・サンプルの実際のデータセットであり、IntReal Evaluation Suiteは専門的な専門家モデルを用いて7つの相補的な次元におけるモデル性能を評価し、粗い診断を可能にする。 広範囲な実験により、評価スイートは、低メトリックな冗長性(最大対等絶対絶対値であるSpearmanの$ρ\leq 0.42$ )、人間の判断との高い一致(83.3%の精度)、異なる専門家評価者(Spearmanの$ρ> 0.9$ )間での強い一貫性(Spearmanの$ρ> 0.9$ )を通じて検証され、メトリクスの相補性と信頼性をサポートする。 UMMの4つのファミリをベンチマークすることで、IntReal Evaluation Suiteはモデル間で異なる長所と短所を明らかにします。 トレーニング後の実験では,IntReal-100Kがインターリーブ生成の改善に有効であることを示すとともに,トレーニングユニモーダル生成がインターリーブ生成にも有効であることを示す。 これらの結果から, インターリーブド・ジェネレーションは, あらゆる段階で共同のテキストイメージ・トレーニングを必要とせず, モダリティ特異的な最適化の恩恵を受ける可能性が示唆された。

関連論文リスト

• Inter-X++: A Comprehensive Benchmark for Multimodal Human-Human Interaction Analysis [55.78822230833247]
  We present Inter-X++, a comprehensive and large-scale benchmark designed to empower useful HHI analysis。 インターX++は11,388個の高忠実な相互作用シーケンスと8.1Mフレームを提供する。 インタラクションの再構築と意味理解を協調的に最適化する,単一かつ統一されたHHI表現とモデリングフレームワークOpenHHIを提案する。
  論文  参考訳（メタデータ） (2026-08-20T17:51:48Z)
• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• MIBE: Multi-subject Interaction Benchmark and Evaluator for Personalized Image Generation [12.891921839026432]
  マルチオブジェクトインタラクションベンチマーク(MIB)とマルチオブジェクトインタラクション評価器(MIE)を組み合わせた統合フレームワークを提案する。 MIBは、疎結合データ構造を通じて、多様な関係タイプとシーンの複雑さを体系的にカバーする。 MIEはゴールドセットに強いクロスジェネレータの一般化を示し、人間の好みに対して一対の精度で0.922を達成している。
  論文  参考訳（メタデータ） (2026-07-01T18:44:01Z)
• RecruitView: A Multimodal Dataset for Predicting Personality and Interview Performance for Human Resources Applications [2.640396662115501]
  RecruitViewは、300人以上の被験者と27,000人のペアワイド比較判定者による、2,011の自然主義的ビデオインタビュークリップのデータセットである。 このデータを活用するために,マニフォールド融合を用いたクロスモーダル回帰を提案する。 CRMFが選択したベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-11-29T11:33:30Z)
• PersonaTwin: A Multi-Tier Prompt Conditioning Framework for Generating and Evaluating Personalized Digital Twins [20.77710199900999]
  本稿では,適応型ディジタルツインを構築する多層プロンプトコンディショニングフレームワークであるPersonaTwinを紹介する。 8500人以上の医療状況における包括的データセットを用いて、PersonaTwinを標準LLM出力に対してベンチマークする。 実験結果から,本フレームワークは設定と同等のシミュレーション忠実度が得られることがわかった。
  論文  参考訳（メタデータ） (2025-07-30T04:57:30Z)
• OpenING: A Comprehensive Benchmark for Judging Open-ended Interleaved Image-Text Generation [59.53678957969471]
  MLLM(Multimodal Large Language Models)は視覚的理解と生成に大きく貢献している。 インターリーブされた画像テキストコンテンツを生成することは、依然として課題である。 Openingは56の現実世界のタスクにわたる5,400の高品質なヒューマンアノテートインスタンスからなるベンチマークである。 IntJudgeはオープンなマルチモーダル生成手法を評価するための判断モデルである。
  論文  参考訳（メタデータ） (2024-11-27T16:39:04Z)
• MMIE: Massive Multimodal Interleaved Comprehension Benchmark for Large Vision-Language Models [71.36392373876505]
  我々は、LVLM(Large Vision-Language Models)において、インターリーブされたマルチモーダル理解と生成を評価するための大規模ベンチマークであるMMIEを紹介する。 MMIEは、数学、コーディング、物理学、文学、健康、芸術を含む3つのカテゴリ、12のフィールド、102のサブフィールドにまたがる20Kの厳密にキュレートされたマルチモーダルクエリで構成されている。 インターリーブされたインプットとアウトプットの両方をサポートし、多様な能力を評価するために、複数選択とオープンな質問フォーマットの混合を提供する。
  論文  参考訳（メタデータ） (2024-10-14T04:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。