論文の概要: VoCoT: Unleashing Visually Grounded Multi-Step Reasoning in Large Multi-Modal Models

• arxiv url: http://arxiv.org/abs/2405.16919v2
• Date: Tue, 28 May 2024 06:12:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 10:59:04.097496
• Title: VoCoT: Unleashing Visually Grounded Multi-Step Reasoning in Large Multi-Modal Models
• Title（参考訳）: VoCoT:大規模マルチモードモデルにおける視覚的接地型マルチステップ推論
• Authors: Zejun Li, Ruipu Luo, Jiwen Zhang, Minghui Qiu, Zhongyu Wei,
• Abstract要約: 本稿では,LMMを用いた推論に適した多段階の視覚的対象中心連鎖推論フレームワークであるVoCoTを提案する。 VoCoTの特徴は,(1)オブジェクト中心の推論経路,(2)オブジェクト概念を多モードのインターリーブ・アライメントで視覚的に表現する,という2つの特徴である。
• 参考スコア（独自算出の注目度）: 32.10766568096317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large multi-modal models (LMMs) have exhibited impressive capabilities across diverse tasks, their effectiveness in handling complex tasks has been limited by the prevailing single-step reasoning paradigm. To this end, this paper proposes VoCoT, a multi-step Visually grounded object-centric Chain-of-Thought reasoning framework tailored for inference with LMMs. VoCoT is characterized by two key features: (1) object-centric reasoning paths that revolve around cross-modal shared object-level information, and (2) visually grounded representation of object concepts in a multi-modal interleaved and aligned manner, which effectively bridges the modality gap within LMMs during long-term generation. Additionally, we construct an instruction dataset to facilitate LMMs in adapting to reasoning with VoCoT. By introducing VoCoT into the prevalent open-source LMM architecture, we introduce VolCano. With only 7B parameters and limited input resolution, VolCano demonstrates excellent performance across various scenarios, surpassing SOTA models, including GPT-4V, in tasks requiring complex reasoning. Our code, data and model will be available at https://github.com/RupertLuo/VoCoT.
• Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は多種多様なタスクにまたがる印象的な能力を示してきたが、複雑なタスクを扱う上での有効性は、一般的なシングルステップ推論パラダイムによって制限されてきた。 そこで本稿では,LMMを用いた推論に適した,多段階の視覚的基盤を持つオブジェクト中心の連鎖推論フレームワークであるVoCoTを提案する。 VoCoT の特徴は,(1) オブジェクト間の共有オブジェクトレベルの情報を取り巻くオブジェクト中心の推論経路,(2) 多モードのインターリーブとアライメントによるオブジェクト概念の視覚的接地表現により,LMM の長期的生成におけるモダリティギャップを効果的に橋渡しする,という2つの特徴である。 さらに,VoCoTを用いた推論に適応してLMMを容易にするための命令データセットを構築した。 オープンソースのLMMアーキテクチャにVoCoTを導入することで、VolCanoを紹介します。 7Bパラメータと限られた入力解像度しか持たないVolCanoは、複雑な推論を必要とするタスクにおいて、GPT-4Vを含むSOTAモデルよりも優れた性能を示す。 私たちのコード、データ、モデルはhttps://github.com/RupertLuo/VoCoT.comで公開されます。

関連論文リスト

• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Exploring the Capabilities of Large Multimodal Models on Dense Text [58.82262549456294]
  我々は170万の質問応答対を持つDT-VQAデータセットを提案する。 本稿では,GPT4V,Gemini,および各種オープンソースLMMの総合評価を行う。 自動的にラベル付けされたトレーニングデータセットであっても、モデルパフォーマンスの大幅な改善が達成できる。
  論文  参考訳（メタデータ） (2024-05-09T07:47:25Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Model Composition for Multimodal Large Language Models [73.70317850267149]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• CaMML: Context-Aware Multimodal Learner for Large Models [16.30752006781618]
  大規模マルチモーダルモデル(LMM)をチューニングするためのコンテキスト認識型マルチモーダル学習器(CaMML)を導入する。 CaMMLは、マルチモーダルなコンテキストサンプルを大きなモデルにシームレスに統合し、類似したドメイン固有の最新の情報から知識を引き出すことができるように設計されている。 CaMMLに基づく2つのマルチモーダルモデルであるCaMML-7BとCaMML-13Bを開発した。
  論文  参考訳（メタデータ） (2024-01-06T07:54:58Z)
• CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal Models with Multiple Image Inputs [48.269363759989915]
  この研究は、第1、画像対画像マッチング、第2、複数画像対テキストマッチングという2つの側面に焦点を当てている。 我々は, GPT-4V, Gemini, OpenFlamingo, MMICLを含む, オープンソースおよびクローズドソースの大規模モデルについて評価を行った。
  論文  参考訳（メタデータ） (2024-01-05T00:26:07Z)
• Multimodal Question Answering for Unified Information Extraction [15.798187192290746]
  マルチモーダル情報抽出は、構造化されていないマルチメディアコンテンツから構造化された情報を抽出することを目的としている。 現在のMIEモデルはタスク固有でデータ集約である。 3つのMIEタスクを統合するための新しいマルチモーダル質問応答(MQA)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:58:05Z)
• MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities [159.9847317300497]
  複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル(LMM)を評価する評価ベンチマークであるMM-Vetを提案する。 近年のLMMは、黒板に書かれた数学の問題を解くこと、ニュース画像の出来事や有名人を推論すること、視覚的ジョークを説明することなど、様々な興味深い能力を示している。
  論文  参考訳（メタデータ） (2023-08-04T17:59:47Z)
• FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
  本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。 FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。 実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-05T04:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。