論文の概要: Knowledge-Aware Reasoning over Multimodal Semi-structured Tables

• arxiv url: http://arxiv.org/abs/2408.13860v1
• Date: Sun, 25 Aug 2024 15:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 15:42:00.379502
• Title: Knowledge-Aware Reasoning over Multimodal Semi-structured Tables
• Title（参考訳）: マルチモーダル半構造化テーブル上での知識認識推論
• Authors: Suyash Vardhan Mathur, Jainit Sushil Bafna, Kunal Kartik, Harshita Khandelwal, Manish Shrivastava, Vivek Gupta, Mohit Bansal, Dan Roth,
• Abstract要約: 本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを紹介する。 我々の実験は、複数のテキストと画像の入力を効果的に統合し解釈する上で、現在のAIモデルに対する重大な課題を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 85.24395216111462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing datasets for tabular question answering typically focus exclusively on text within cells. However, real-world data is inherently multimodal, often blending images such as symbols, faces, icons, patterns, and charts with textual content in tables. With the evolution of AI models capable of multimodal reasoning, it is pertinent to assess their efficacy in handling such structured data. This study investigates whether current AI models can perform knowledge-aware reasoning on multimodal structured data. We explore their ability to reason on tables that integrate both images and text, introducing MMTabQA, a new dataset designed for this purpose. Our experiments highlight substantial challenges for current AI models in effectively integrating and interpreting multiple text and image inputs, understanding visual context, and comparing visual content across images. These findings establish our dataset as a robust benchmark for advancing AI's comprehension and capabilities in analyzing multimodal structured data.
• Abstract（参考訳）: 既存の問合せ用データセットは、通常、セル内のテキストにのみフォーカスする。 しかし、実世界のデータは本質的にマルチモーダルであり、しばしば記号、顔、アイコン、パターン、チャートなどの画像をテーブル内のテキストコンテンツとブレンドする。 マルチモーダル推論が可能なAIモデルの進化により、そのような構造化データを扱う上での有効性を評価することが重要となる。 本研究では、現在のAIモデルがマルチモーダルな構造化データに基づいて知識を考慮した推論を行うことができるかどうかを検討する。 この目的のために設計された新しいデータセットであるMMTabQAを導入し、画像とテキストの両方を統合するテーブルを推論する能力について検討する。 我々の実験は、複数のテキストや画像入力を効果的に統合し、解釈し、視覚的コンテキストを理解し、画像間で視覚的コンテンツを比較することにおける、現在のAIモデルに対する重大な課題を強調した。 これらの結果は、マルチモーダル構造化データの分析におけるAIの理解と能力向上のための堅牢なベンチマークとして、私たちのデータセットを確立します。

関連論文リスト

• PUB: Plot Understanding Benchmark and Dataset for Evaluating Large Language Models on Synthetic Visual Data Interpretation [2.1184929769291294]
  本稿では,データ視覚化における大規模言語モデルの習熟度を評価するために設計された,新しい合成データセットを提案する。 我々のデータセットは、制御されたパラメータを使って生成され、潜在的な現実世界シナリオの包括的カバレッジが保証されます。 我々は、画像中の視覚データに関連する質問を多モーダルテキストプロンプトを用いて、いくつかの最先端モデルをベンチマークする。
  論文  参考訳（メタデータ） (2024-09-04T11:19:17Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• TIP: Tabular-Image Pre-training for Multimodal Classification with Incomplete Data [6.414759311130015]
  不完全なデータに頑健なマルチモーダル表現を学習するための新しいフレームワークであるTIPを提案する。 具体的には、TIPは、データ不足に対処するためのマスク付き再構築タスクを含む、自己教師付き学習(SSL)戦略を調査する。 TIPは、完全なデータシナリオと不完全なデータシナリオの両方において、最先端の教師付き/SSLイメージ/マルチモーダルアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2024-07-10T12:16:15Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Enhancing Vision Models for Text-Heavy Content Understanding and Interaction [0.0]
  画像エンコーディングのためのCLIPとMassive Text Embedding Benchmarkのモデルを統合したビジュアルチャットアプリケーションを構築した。 プロジェクトの目的は、複雑な視覚的テキストデータ相互接続データの理解において、先進視覚モデルの能力を高め、強化することである。
  論文  参考訳（メタデータ） (2024-05-31T15:17:47Z)
• Wiki-TabNER:Advancing Table Interpretation Through Named Entity Recognition [19.423556742293762]
  TIタスクの評価に広く用いられているベンチマークデータセットを分析した。 この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。 本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:22:07Z)
• Images in Discrete Choice Modeling: Addressing Data Isomorphism in Multi-Modality Inputs [77.54052164713394]
  本稿では,離散選択モデリング(DCM)と機械学習の交わりについて考察する。 本稿では,DCMフレームワーク内の従来の表型入力と同型情報を共有する高次元画像データの埋め込み結果について検討する。
  論文  参考訳（メタデータ） (2023-12-22T14:33:54Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• JourneyDB: A Benchmark for Generative Image Understanding [89.02046606392382]
  生成画像の領域に適合する包括的データセットであるJourneyDBを導入する。 精巧にキュレートされたデータセットは、400万の異なる高品質な画像で構成されています。 本データセットでは,生成した画像の理解性能を評価するための4つのベンチマークを考案した。
  論文  参考訳（メタデータ） (2023-07-03T02:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。