論文の概要: YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction

• arxiv url: http://arxiv.org/abs/2611.05280v1
• Date: Tue, 03 Nov 2026 17:59:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:13:58.566874
• Title: YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction
• Title（参考訳）: YANAMI:マルチターンステートフルインタラクションのための大規模マルチモーダルデータセットとベンチマーク
• Abstract要約: 本稿では,大規模マルチモーダル対話データセットYANAMIとステートフルインタラクションのベンチマークについて紹介する。 YANAMI-400Kには400Kのマルチターン・マルチモーダル・ダイアログがあり、2M以上の画像と2.6Mのダイアログがある。 YANAMI-Benchは、多モードステートフルインタラクションを体系的に評価するための400のマルチターン対話で構成されている。
• 参考スコア（独自算出の注目度）: 51.21682188603856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified Multimodal Models (UMMs) integrate visual understanding, generation, and editing within a single unified framework. However, existing unified multimodal datasets and benchmarks remain dominated by single-turn tasks. Even in recent multi-turn datasets, many turns can be solved independently without tracking information across turns. Consequently, they provide limited supervision and evaluation for multimodal stateful interaction, which requires models to understand, maintain, update, and faithfully realize evolving dialogue states across turns. To address this gap, we introduce YANAMI, the first large-scale multimodal dialogue dataset and benchmark for stateful interaction, comprising YANAMI-400K and YANAMI-Bench. YANAMI-400K contains 400K multi-turn multimodal dialogues, with more than 2M images and 2.6M dialogue turns. The dialogues span four representative scenarios: Multi-Image Fusion, Image Editing, World Modeling, and Visual Reasoning, and require models to continuously track, preserve, and revise evolving multimodal dialogue states across turns. YANAMI-Bench comprises 400 multi-turn dialogues for systematically evaluating multimodal stateful interaction. It jointly evaluates Dialogue State Understanding and Visual Realization, characterizing the gap between models' ability to understand evolving dialogue states and their ability to faithfully realize them in visual outputs. Experiments show that fine-tuning BAGEL on YANAMI-400K improves image editing, generation, and multimodal stateful interaction by 10.3%, 2.0%, and 13.23%, respectively, while preserving its general visual understanding capabilities. Evaluations on YANAMI-Bench further reveal that existing UMMs still struggle to maintain, update, and visually realize evolving multimodal dialogue states.
• Abstract（参考訳）: Unified Multimodal Models (UMM) は、視覚的理解、生成、編集を単一の統合フレームワークに統合する。 しかし、既存の統合マルチモーダルデータセットとベンチマークは依然としてシングルターンタスクに支配されている。 最近のマルチターンデータセットでも、ターン間の情報を追跡することなく、多くのターンを独立して解決することができる。 その結果、マルチモーダルなステートフルインタラクションに対する限られた監督と評価が提供され、ターン間で進化する対話状態を理解し、維持し、更新し、忠実に実現する必要がある。 このギャップに対処するために,YANAMI-400KとYANAMI-Benchを組み合わせた,最初の大規模マルチモーダル対話データセットとステートフルインタラクションのためのベンチマークであるYANAMIを紹介した。 YANAMI-400Kには400Kのマルチターン・マルチモーダル・ダイアログがあり、2M以上の画像と2.6Mのダイアログがある。 ダイアログは、マルチイメージフュージョン、イメージ編集、ワールドモデリング、ビジュアル推論の4つの代表的なシナリオにまたがっており、ターンをまたいで進化するマルチモーダルダイアログの状態を追跡し、保存し、修正するモデルを必要とする。 YANAMI-Benchは、多モードステートフルインタラクションを体系的に評価するための400のマルチターン対話で構成されている。 対話状態理解と視覚的実現を共同で評価し、進化する対話状態を理解するモデルの能力と、それらを視覚的出力で忠実に認識する能力のギャップを特徴づける。 実験により、YANAMI-400K上の微調整のBAGELは、画像編集、生成、マルチモーダルステートフルインタラクションを10.3%、2.0%、13.23%改善し、一般的な視覚的理解能力を維持している。 YANAMI-Benchの評価により、既存のUMMは、進化するマルチモーダル対話状態の維持、更新、視覚的実現に苦慮していることが明らかとなった。

関連論文リスト

• Gestalt: Large Multimodal Interplay Model [71.29665945750388]
  本稿では,マルチモーダル・インタープレイを中心に構築された大規模マルチモーダルモデルの新たなパラダイムを提案する。 ヒトのマルチ感覚知覚の多段階的特性に触発され,マルチモーダル・モデリングを組織するマルチモーダル・インタープレイ・ピラミッドを提案する。
  論文  参考訳（メタデータ） (2026-09-30T18:45:38Z)
• ChatUMM: Robust Context Tracking for Conversational Interleaved Generation [44.19929499646892]
  統一マルチモーダルモデル(UMM)は目覚ましい進歩を遂げているが、シングルターン相互作用パラダイムによって制約されている。 本稿では,対話型統合モデルChatUMMを提案する。 ChatUMMは、連続的な会話の流れとしてシリアライズされたテキストイメージストリームをモデル化するインターリーブされたマルチターントレーニング戦略に由来する。
  論文  参考訳（メタデータ） (2026-02-06T07:11:50Z)
• DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation [46.085482021301516]
  市販のMLLMとT2Iモデルを連携させてマルチモーダル対話システムを構築するためのDialogGenを提案する。 描画プロンプトアライメント、注意深いトレーニングデータキュレーション、エラー修正で構成されている。 ダイアログジェネレーションとユーザスタディに関する実験は、他の最先端モデルと比較してダイアログジェネレーションの有効性を実証している。
  論文  参考訳（メタデータ） (2024-03-13T18:00:01Z)
• ChatterBox: Multi-round Multimodal Referring and Grounding [108.9673313949746]
  この目的のために,新しいベンチマークと効率的な視覚言語モデルを提案する。 提案したChatterBoxは、2ブランチアーキテクチャを使って視覚と言語タスクを協調的に処理する。 実験の結果、ChatterBoxはMRGの既存のモデルよりも定量的にも質的にも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-01-24T09:02:00Z)
• DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention [55.2825684201129]
  DeepSpeed-VisualChatは、マルチモーダル機能を組み込むことで、LLM(Large Language Models)を最適化するように設計されている。 筆者らのフレームワークは,(1)マルチラウンド・マルチイメージ対話のオープンソースサポート,(2)革新的なマルチモーダル因果注意機構の導入,(3)既存のデータセットにデータブレンディング技術を活用してシームレスな対話を実現すること,などが特徴である。
  論文  参考訳（メタデータ） (2023-09-25T17:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。