論文の概要: Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner

• arxiv url: http://arxiv.org/abs/2412.20662v2
• Date: Fri, 03 Jan 2025 06:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 12:56:03.257493
• Title: Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner
• Title（参考訳）: ビジョンLLMによるテーブル認識の強化: ベンチマークと周辺ガイド型ツールチェーン推論
• Authors: Yitong Zhou, Mingyue Cheng, Qingyang Mao, Qi Liu, Feiyang Xu, Xin Li, Enhong Chen,
• Abstract要約: 我々は、非構造化テーブルを認識するための訓練不要推論パラダイムとして、視覚大言語モデル(VLLM)を採用している。 低画質の入力画像の問題を軽減するために,Nighbor-Guided Toolchain Reasoner (NGTR) フレームワークを提案する。 提案手法は,バニラVLLMの認識能力を著しく向上させる。
• 参考スコア（独自算出の注目度）: 47.13805762269659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained foundation models have recently significantly progressed in structured table understanding and reasoning. However, despite advancements in areas such as table semantic understanding and table question answering, recognizing the structure and content of unstructured tables using Vision Large Language Models (VLLMs) remains under-explored. In this work, we address this research gap by employing VLLMs in a training-free reasoning paradigm. First, we design a benchmark with various hierarchical dimensions relevant to table recognition. Subsequently, we conduct in-depth evaluations using pre-trained VLLMs, finding that low-quality image input is a significant bottleneck in the recognition process. Drawing inspiration from these findings, we propose the Neighbor-Guided Toolchain Reasoner (NGTR) framework, which is characterized by integrating multiple lightweight models for low-level visual processing operations aimed at mitigating issues with low-quality input images. Specifically, we utilize a neighbor retrieval mechanism to guide the generation of multiple tool invocation plans, transferring tool selection experiences from similar neighbors to the given input, thereby facilitating suitable tool selection. Additionally, we introduce a reflection module to supervise the tool invocation process. Extensive experiments on public table recognition datasets demonstrate that our approach significantly enhances the recognition capabilities of the vanilla VLLMs. We believe that the designed benchmark and the proposed NGTR framework could provide an alternative solution in table recognition.
• Abstract（参考訳）: 事前学習された基礎モデルは、最近、構造化テーブルの理解と推論において著しく進歩している。 しかし、テーブル意味理解やテーブル質問応答といった分野の進歩にもかかわらず、視覚大言語モデル(VLLM)を用いた非構造化テーブルの構造と内容の認識は未検討のままである。 本研究では,VLLMを学習自由推論パラダイムに採用することで,この研究ギャップに対処する。 まず、テーブル認識に関連する様々な階層次元のベンチマークを設計する。 その後、事前訓練されたVLLMを用いて詳細な評価を行い、低品質の画像入力が認識プロセスにおいて重要なボトルネックとなることを発見した。 これらの知見から着想を得たNighbor-Guided Toolchain Reasoner (NGTR) フレームワークを提案する。 具体的には、隣接する検索機構を用いて、複数のツール呼び出し計画の生成を誘導し、類似した隣人からのツール選択経験を与えられた入力に転送し、適切なツール選択を容易にする。 さらに,ツール実行プロセスの監視を行うリフレクションモジュールも導入する。 パブリックテーブル認識データセットに対する大規模な実験により,バニラVLLMの認識能力を著しく向上することが示された。 設計したベンチマークと提案したNGTRフレームワークは、テーブル認識において代替的なソリューションを提供することができると信じている。

関連論文リスト

• VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making [21.61801132083334]
  VIPERはマルチモーダル命令ベースの計画のための新しいフレームワークである。 VLMベースの知覚とLLMベースの推論を統合する。 その結果、VIPERは最先端のビジュアル・インストラクション・ベース・プランナーよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-19T11:05:42Z)
• Unlocking the Capabilities of Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在の視覚言語モデル(VLM)は、マルチモーダルデータの理解において顕著な能力を示しているが、そのポテンシャルはディープフェイク検出に過小評価されている。 本稿では,VLMの潜在能力を3つのコンポーネントで解き放つ新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• Cyclic Refiner: Object-Aware Temporal Representation Learning for Multi-View 3D Detection and Tracking [37.186306646752975]
  マルチビュー3次元検出・追跡タスクのための統合オブジェクト認識時間学習フレームワークを提案する。 提案モデルでは,異なる設計のベースラインよりも一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-07-03T16:10:19Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Vi(E)va LLM! A Conceptual Stack for Evaluating and Interpreting Generative AI-based Visualizations [1.709620026135923]
  大規模言語モデル(LLM)は、可視化に関連する生成タスクをサポートするための興味深い選択肢となっている。 本稿では,LLMを用いて生成した可視化の評価をモデル化する問題に対処する。 本稿では,原子部品の評価を分解する理論評価スタックEvaLLMを提案する。
  論文  参考訳（メタデータ） (2024-02-03T14:28:55Z)
• SymbolicAI: A framework for logic-based approaches combining generative models and solvers [9.841285581456722]
  生成過程における概念学習とフロー管理に論理的アプローチを取り入れた,汎用的でモジュール化されたフレームワークであるSybolicAIを紹介する。 我々は,大規模言語モデル(LLM)を,自然言語命令と形式言語命令の両方に基づいてタスクを実行する意味的解決器として扱う。
  論文  参考訳（メタデータ） (2024-02-01T18:50:50Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。