論文の概要: M^2ConceptBase: A Fine-Grained Aligned Concept-Centric Multimodal Knowledge Base

• arxiv url: http://arxiv.org/abs/2312.10417v2
• Date: Thu, 1 Aug 2024 08:03:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-02 14:45:13.267681
• Title: M^2ConceptBase: A Fine-Grained Aligned Concept-Centric Multimodal Knowledge Base
• Title（参考訳）: M^2ConceptBase: ファイングラインドされた概念中心のマルチモーダル知識ベース
• Authors: Zhiwei Zha, Jiaan Wang, Zhixu Li, Xiangru Zhu, Wei Song, Yanghua Xiao,
• Abstract要約: 最初の概念中心型マルチモーダル知識ベース(MMKB)であるM2ConceptBaseを紹介する。 画像テキストデータセットのコンテキスト情報を用いて,概念イメージと概念記述ペアを協調するコンテキスト認識手法を提案する。 人間の研究は95%以上のアライメントの精度を確認し、その品質を裏付けている。
• 参考スコア（独自算出の注目度）: 61.53959791360333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal knowledge bases (MMKBs) provide cross-modal aligned knowledge crucial for multimodal tasks. However, the images in existing MMKBs are generally collected for entities in encyclopedia knowledge graphs. Therefore, detailed groundings of visual semantics with linguistic concepts are lacking, which are essential for the visual concept cognition ability of multimodal models. Addressing this gap, we introduce M^2ConceptBase, the first concept-centric MMKB. M^2ConceptBase models concepts as nodes with associated images and detailed textual descriptions. We propose a context-aware multimodal symbol grounding approach to align concept-image and concept-description pairs using context information from image-text datasets. Comprising 951K images and 152K concepts, M^2ConceptBase links each concept to an average of 6.27 images and a single description, ensuring comprehensive visual and textual semantics. Human studies confirm more than 95% alignment accuracy, underscoring its quality. Additionally, our experiments demonstrate that M^2ConceptBase significantly enhances VQA model performance on the OK-VQA task. M^2ConceptBase also substantially improves the fine-grained concept understanding capabilities of multimodal large language models through retrieval augmentation in two concept-related tasks, highlighting its value.
• Abstract（参考訳）: マルチモーダル・ナレッジ・ベース(MMKB)は、マルチモーダル・タスクに不可欠なクロスモーダル・アライメント・ナレッジを提供する。 しかし、既存のMMKBのイメージは一般に百科事典知識グラフのエンティティのために収集される。 したがって、多モーダルモデルの視覚的概念認識能力に不可欠な言語概念による視覚的意味論の詳細な基礎は欠落している。 このギャップに対処するため、最初の概念中心のMMKBであるM^2ConceptBaseを紹介します。 M^2ConceptBaseは、概念を関連する画像と詳細なテキスト記述を持つノードとしてモデル化する。 画像テキストデータセットからコンテキスト情報を用いて,概念イメージと概念記述ペアを協調させる,コンテキスト認識型マルチモーダルシンボル基底手法を提案する。 951Kイメージと152Kコンセプトを含むM^2ConceptBaseは、各概念を平均6.27イメージと1つの記述にリンクし、視覚的およびテキスト的意味論を包括的に保証する。 人間の研究は95%以上のアライメントの精度を確認し、その品質を裏付けている。 さらに、M^2ConceptBaseは、OK-VQAタスク上でのVQAモデルの性能を大幅に向上させることを示した。 M^2ConceptBaseはまた、2つの概念関連タスクの検索強化を通じて、マルチモーダルな大規模言語モデルの詳細な概念理解能力を大幅に改善し、その価値を強調している。

関連論文リスト

• CusConcept: Customized Visual Concept Decomposition with Diffusion Models [13.95568624067449]
  ベクトルを埋め込んだカスタマイズされた視覚概念を抽出する2段階のフレームワークCusConceptを提案する。 最初の段階では、CusConceptは語彙誘導概念分解機構を採用している。 第2段階では、生成した画像の忠実度と品質を高めるために、共同概念の洗練を行う。
  論文  参考訳（メタデータ） (2024-10-01T04:41:44Z)
• ConceptMix: A Compositional Image Generation Benchmark with Controllable Difficulty [52.15933752463479]
  ConceptMixはスケーラブルで、制御可能で、カスタマイズ可能なベンチマークです。 テキスト・ツー・イメージ(T2I)モデルの合成生成能力を自動的に評価する。 いくつかのモデル、特に開モデルの性能は k の増加とともに劇的に低下する。
  論文  参考訳（メタデータ） (2024-08-26T15:08:12Z)
• A Concept-Based Explainability Framework for Large Multimodal Models [52.37626977572413]
  本稿では,トークン表現に適用した辞書学習に基づくアプローチを提案する。 これらの概念は、視覚とテキストの両方に意味論的に根ざしていることを示す。 抽出したマルチモーダル概念は,テストサンプルの表現の解釈に有用であることを示す。
  論文  参考訳（メタデータ） (2024-06-12T10:48:53Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• NEUCORE: Neural Concept Reasoning for Composed Image Retrieval [16.08214739525615]
  NEUral Concept Reasoning モデルを提案する。 提案手法は3つのデータセットで評価し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-10-02T17:21:25Z)
• Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
  本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。 我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。 我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:45:56Z)
• ConceptBed: Evaluating Concept Learning Abilities of Text-to-Image Diffusion Models [79.10890337599166]
  本研究では,284のユニークな視覚概念と33Kの合成テキストプロンプトからなる大規模データセットであるConceptBedを紹介する。 我々は、対象、属性、スタイルのいずれかである視覚概念を評価し、また、構成性の4つの次元(計数、属性、関係、行動)を評価する。 私たちの結果は、概念を学ぶことと、既存のアプローチが克服に苦労する構成性を維持することのトレードオフを示しています。
  論文  参考訳（メタデータ） (2023-06-07T18:00:38Z)
• Automatic Modeling of Social Concepts Evoked by Art Images as Multimodal Frames [1.4502611532302037]
  非物理的オブジェクトを参照する社会的概念は、視覚データの内容を記述、インデックス化、クエリするための強力なツールである。 本稿では,社会概念をマルチモーダル・フレームとして表現するためのソフトウェア手法を提案する。 本手法は,視覚芸術作品から興味ある概念をタグ付けしたマルチモーダル特徴の抽出,解析,統合に焦点を当てる。
  論文  参考訳（メタデータ） (2021-10-14T14:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。