論文の概要: Vision Language Models for Spreadsheet Understanding: Challenges and Opportunities

• arxiv url: http://arxiv.org/abs/2405.16234v2
• Date: Fri, 9 Aug 2024 03:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-12 18:19:02.460111
• Title: Vision Language Models for Spreadsheet Understanding: Challenges and Opportunities
• Title（参考訳）: スプレッドシート理解のための視覚言語モデル:課題と機会
• Authors: Shiyu Xia, Junyu Xiong, Haoyu Dong, Jianbo Zhao, Yuzhang Tian, Mengyu Zhou, Yeye He, Shi Han, Dongmei Zhang,
• Abstract要約: 本稿では,スプレッドシート理解における視覚言語モデルの有用性について考察する。 我々は,OCR,空間認識,視覚的フォーマット認識のVLMを評価するための評価指標を用いた3つの自己監督的課題を提案する。 以上の結果から,VLMは有望な機能を示すが,細胞欠失や不適応による不満足な結果をもたらすことが明らかとなった。
• 参考スコア（独自算出の注目度）: 45.07740718952321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper explores capabilities of Vision Language Models on spreadsheet comprehension. We propose three self-supervised challenges with corresponding evaluation metrics to comprehensively evaluate VLMs on Optical Character Recognition (OCR), spatial perception, and visual format recognition. Additionally, we utilize the spreadsheet table detection task to assess the overall performance of VLMs by integrating these challenges. To probe VLMs more finely, we propose three spreadsheet-to-image settings: column width adjustment, style change, and address augmentation. We propose variants of prompts to address the above tasks in different settings. Notably, to leverage the strengths of VLMs in understanding text rather than two-dimensional positioning, we propose to decode cell values on the four boundaries of the table in spreadsheet boundary detection. Our findings reveal that VLMs demonstrate promising OCR capabilities but produce unsatisfactory results due to cell omission and misalignment, and they notably exhibit insufficient spatial and format recognition skills, motivating future work to enhance VLMs' spreadsheet data comprehension capabilities using our methods to generate extensive spreadsheet-image pairs in various settings.
• Abstract（参考訳）: 本稿では,スプレッドシート理解における視覚言語モデルの有用性について考察する。 本稿では,光学的文字認識(OCR),空間認識,視覚的フォーマット認識におけるVLMを包括的に評価するための評価指標を用いた3つの自己監督的課題を提案する。 さらに,これらの課題を統合することで,VLMの全体的な性能を評価するために表テーブル検出タスクを利用する。 より詳細にVLMを探索するために,カラム幅調整,スタイル変更,アドレス拡張という3つのスプレッドシート・ツー・イメージ設定を提案する。 我々は、上記の課題に異なる設定で対処するためのプロンプトの変種を提案する。 特に,2次元位置決めよりもテキスト理解におけるVLMの強みを活用するために,表の4つの境界におけるセル値のデコードを提案する。 以上の結果から,VLMは有望なOCR機能を示すが,細胞欠失や不整合による不満足な結果が得られ,空間認識能力やフォーマット認識能力が不足していることが判明した。

関連論文リスト

• Hierarchical Visual Feature Aggregation for OCR-Free Document Understanding [41.43688559565315]
  我々は、事前訓練されたマルチモーダル大言語モデル(MLLM)に基づく新しいOCRフリー文書理解フレームワークを提案する。 本手法では,文書画像内のフォントサイズを多種多様な視覚的特徴量で処理する。 そこで本研究では,入力テキストの相対的な位置を学習することで,モデルのテキスト読解能力を向上させる新しい命令チューニングタスクを提案する。
  論文  参考訳（メタデータ） (2024-11-08T00:58:12Z)
• How to Determine the Preferred Image Distribution of a Black-Box Vision-Language Model? [2.3993515715868714]
  本稿では,視覚言語モデル(VLM)に好適な画像分布を特定するための,新しい一般化可能な手法を提案する。 これを異なる3次元オブジェクトのレンダリングタイプに適用することにより、複雑な構造の正確な解釈を必要とする様々な領域で有効性を示す。 特殊なドメインにおけるベンチマークの欠如を解決するために,CAD関連視覚質問応答タスク上でVLMを評価するための新しいデータセットであるCAD-VQAを導入する。
  論文  参考訳（メタデータ） (2024-09-03T19:26:13Z)
• Large Language Models Understand Layout [6.732578061359833]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて異常な能力を示す。 テキスト理解能力以外にも,空間マーカーで表されるテキストレイアウトをLLMで処理できることが示されている。 レイアウト理解能力は,視覚的質問応答(VQA)システム構築に有用であることを示す。
  論文  参考訳（メタデータ） (2024-07-08T09:03:12Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Bridging Vision and Language Spaces with Assignment Prediction [47.04855334955006]
  VLAPは、事前訓練された視覚モデルと大規模言語モデル(LLM)を橋渡しする新しいアプローチである 2つのモダリティ埋め込み空間を橋渡しするために、確立された単語埋め込みを利用する。 VLAPは、以前の線形変換ベースのアプローチよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-15T10:04:15Z)
• Bridge the Modality and Capability Gaps in Vision-Language Model Selection [62.26769826687365]
  視覚言語モデル(VLM)は、画像とテキストのカテゴリ名とのペアリングによるゼロショット画像分類において優れている。 VLMリソースをより再利用するために、VLM Zooから適切な事前学習VLMを選択するという有望な戦略が提案されている。 本稿では,この言語のみのVLM選択において,VLMの能力を評価する上での2つの課題について分析する。 本稿では,2つのギャップの負の影響を軽減するために,gApブリッジを用いたVLM選択を提案する。
  論文  参考訳（メタデータ） (2024-03-20T17:54:58Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models [73.40350756742231]
  視覚条件付き言語モデル(VLM)は、視覚対話、シーン理解、ロボットタスク計画などのアプリケーションに採用されている。 新しいリリースの量は多いが、イメージ前処理、アーキテクチャ、最適化に関する重要な設計決定は未調査である。
  論文  参考訳（メタデータ） (2024-02-12T18:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。