論文の概要: CoDi-2: In-Context, Interleaved, and Interactive Any-to-Any Generation

• arxiv url: http://arxiv.org/abs/2311.18775v1
• Date: Thu, 30 Nov 2023 18:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 15:24:11.124712
• Title: CoDi-2: In-Context, Interleaved, and Interactive Any-to-Any Generation
• Title（参考訳）: codi-2: インコンテキスト、インターリーブ、対話型any-to-anyジェネレーション
• Authors: Zineng Tang, Ziyi Yang, Mahmoud Khademi, Yang Liu, Chenguang Zhu, Mohit Bansal
• Abstract要約: CoDi-2は汎用的でインタラクティブなマルチモーダル言語モデル(MLLM)である 複雑なマルチモーダルなインターリーブ命令に従うことができ、ICL(In-context Learning)、理性、チャット、編集などを実行することができる。
• 参考スコア（独自算出の注目度）: 88.33780780220091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present CoDi-2, a versatile and interactive Multimodal Large Language Model (MLLM) that can follow complex multimodal interleaved instructions, conduct in-context learning (ICL), reason, chat, edit, etc., in an any-to-any input-output modality paradigm. By aligning modalities with language for both encoding and generation, CoDi-2 empowers Large Language Models (LLMs) to not only understand complex modality-interleaved instructions and in-context examples, but also autoregressively generate grounded and coherent multimodal outputs in the continuous feature space. To train CoDi-2, we build a large-scale generation dataset encompassing in-context multimodal instructions across text, vision, and audio. CoDi-2 demonstrates a wide range of zero-shot capabilities for multimodal generation, such as in-context learning, reasoning, and compositionality of any-to-any modality generation through multi-round interactive conversation. CoDi-2 surpasses previous domain-specific models on tasks such as subject-driven image generation, vision transformation, and audio editing. CoDi-2 signifies a substantial breakthrough in developing a comprehensive multimodal foundation model adept at interpreting in-context language-vision-audio interleaved instructions and producing multimodal outputs.
• Abstract（参考訳）: 複雑なマルチモーダルインターリーブ命令を追従し、文脈内学習(icl)、理性、チャット、編集などを行う、汎用的でインタラクティブなマルチモーダル大言語モデル(mllm)であるcodi-2を、あらゆる入出力モダリティパラダイムで紹介する。 CoDi-2は、モダリティを符号化と生成の両方のための言語と整合させることで、複雑なモダリティをインターリーブした命令やインコンテキストの例だけでなく、連続的な特徴空間における基底およびコヒーレントなマルチモーダル出力を自動回帰的に生成する。 CoDi-2をトレーニングするために,テキスト,視覚,音声のマルチモーダル命令を含む大規模生成データセットを構築した。 CoDi-2は、マルチラウンド対話による任意のモダリティ生成のコンテキスト内学習、推論、構成性など、マルチモーダル生成のための幅広いゼロショット機能を示す。 CoDi-2は、被写体駆動画像生成、視覚変換、オーディオ編集といったタスクにおける従来のドメイン固有モデルを上回る。 CoDi-2は、コンテキスト内言語-vis-audioインターリーブド命令を解釈し、マルチモーダル出力を生成するのに有効な包括的マルチモーダル基盤モデルの開発において、大きなブレークスルーを示す。

関連論文リスト

• MIO: A Foundation Model on Multimodal Tokens [74.85153216521945]
  マルチモーダルトークン上に構築された新しい基礎モデルMIOを紹介する。 MIOは、エンドツーエンドの自己回帰的な方法で、音声、テキスト、画像、ビデオを理解し、生成することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:57:16Z)
• DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation [46.085482021301516]
  市販のMLLMとT2Iモデルを連携させてマルチモーダル対話システムを構築するためのDialogGenを提案する。 描画プロンプトアライメント、注意深いトレーニングデータキュレーション、エラー修正で構成されている。 ダイアログジェネレーションとユーザスタディに関する実験は、他の最先端モデルと比較してダイアログジェネレーションの有効性を実証している。
  論文  参考訳（メタデータ） (2024-03-13T18:00:01Z)
• Unified-IO 2: Scaling Autoregressive Multimodal Models with Vision, Language, Audio, and Action [46.76487873983082]
  Unified-IO 2は、画像、テキスト、オーディオ、アクションの理解と生成が可能な最初の自己回帰型マルチモーダルモデルである。 我々は、多様な情報源から、大規模なマルチモーダル事前学習コーパスをスクラッチからトレーニングする。 単一の統一モデルにより、Unified-IO 2はGRITベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-28T17:57:06Z)
• mPLUG-Owl2: Revolutionizing Multi-modal Large Language Model with Modality Collaboration [74.31268379055201]
  mPLUG-Owl2は多目的なマルチモーダル言語モデルである。 効果的にモダリティのコラボレーションを活用して、テキストとマルチモーダルの両方のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-11-07T14:21:29Z)
• Kosmos-2: Grounding Multimodal Large Language Models to the World [107.27280175398089]
  マルチモーダル大言語モデル(MLLM)であるKosmos-2を紹介する。 オブジェクト記述(例えば、バウンディングボックス)の認識と、視覚の世界へのテキストの接地を可能にする。 コードと事前訓練されたモデルはhttps://aka.ms/kosmos-2.comで入手できる。
  論文  参考訳（メタデータ） (2023-06-26T16:32:47Z)
• ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst [24.517389691825667]
  ChatBridgeは、様々なモダリティ間のギャップを埋めるために、言語の表現能力を活用する、新しいマルチモーダル言語モデルである。 ChatBridgeのコード、データ、モデルはすべてオープンソースになる。
  論文  参考訳（メタデータ） (2023-05-25T14:34:08Z)
• i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data [101.52821120195975]
  i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。 システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
  論文  参考訳（メタデータ） (2023-05-21T01:25:44Z)
• mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
  mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。 モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。 テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
  論文  参考訳（メタデータ） (2023-02-01T12:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。