論文の概要: Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner

• arxiv url: http://arxiv.org/abs/2412.20662v3
• Date: Fri, 30 May 2025 02:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:33.633145
• Title: Enhancing Table Recognition with Vision LLMs: A Benchmark and Neighbor-Guided Toolchain Reasoner
• Title（参考訳）: ビジョンLLMによるテーブル認識の強化: ベンチマークと周辺ガイド型ツールチェーン推論
• Authors: Yitong Zhou, Mingyue Cheng, Qingyang Mao, Feiyang Xu, Xin Li,
• Abstract要約: 本研究では,視覚大言語モデル(VLLM)の学習自由シナリオにおける認識能力を評価するためのベンチマークを提案する。 低品質画像入力は認識過程において重要なボトルネックであることがわかった。 視覚操作のための多様な軽量ツールを統合することで特徴付けられるNGTR(Neighbor-Guided Toolchain Reasoner)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 6.20014344002102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained foundation models have recently made significant progress in table-related tasks such as table understanding and reasoning. However, recognizing the structure and content of unstructured tables using Vision Large Language Models (VLLMs) remains under-explored. To bridge this gap, we propose a benchmark based on a hierarchical design philosophy to evaluate the recognition capabilities of VLLMs in training-free scenarios. Through in-depth evaluations, we find that low-quality image input is a significant bottleneck in the recognition process. Drawing inspiration from this, we propose the Neighbor-Guided Toolchain Reasoner (NGTR) framework, which is characterized by integrating diverse lightweight tools for visual operations aimed at mitigating issues with low-quality images. Specifically, we transfer a tool selection experience from a similar neighbor to the input and design a reflection module to supervise the tool invocation process. Extensive experiments on public datasets demonstrate that our approach significantly enhances the recognition capabilities of the vanilla VLLMs. We believe that the benchmark and framework could provide an alternative solution to table recognition.
• Abstract（参考訳）: 事前学習された基礎モデルは、テーブル理解や推論といったテーブル関連タスクにおいて、近年大きな進歩を遂げている。 しかし、VLLM(Vision Large Language Models)を用いた非構造化テーブルの構造と内容の認識は、まだ未検討のままである。 このギャップを埋めるために、トレーニング不要シナリオにおけるVLLMの認識能力を評価するための階層設計哲学に基づくベンチマークを提案する。 詳細な評価により,低品質画像入力が認識過程において重要なボトルネックとなることがわかった。 このことから着想を得たNighbor-Guided Toolchain Reasoner (NGTR) フレームワークを提案する。 具体的には、ツール選択体験を入力に類似した隣人から転送し、ツール実行プロセスを監督するためにリフレクションモジュールを設計する。 公開データセットに対する大規模な実験により,本手法はバニラVLLMの認識能力を著しく向上することが示された。 私たちは、このベンチマークとフレームワークが、テーブル認識の代替ソリューションを提供すると信じています。

関連論文リスト

• VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making [21.61801132083334]
  VIPERはマルチモーダル命令ベースの計画のための新しいフレームワークである。 VLMベースの知覚とLLMベースの推論を統合する。 その結果、VIPERは最先端のビジュアル・インストラクション・ベース・プランナーよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-19T11:05:42Z)
• Unlocking the Capabilities of Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在の視覚言語モデル(VLM)は、マルチモーダルデータの理解において顕著な能力を示しているが、そのポテンシャルはディープフェイク検出に過小評価されている。 本稿では,VLMの潜在能力を3つのコンポーネントで解き放つ新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• Cyclic Refiner: Object-Aware Temporal Representation Learning for Multi-View 3D Detection and Tracking [37.186306646752975]
  マルチビュー3次元検出・追跡タスクのための統合オブジェクト認識時間学習フレームワークを提案する。 提案モデルでは,異なる設計のベースラインよりも一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-07-03T16:10:19Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [61.143381152739046]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Vi(E)va LLM! A Conceptual Stack for Evaluating and Interpreting Generative AI-based Visualizations [1.709620026135923]
  大規模言語モデル(LLM)は、可視化に関連する生成タスクをサポートするための興味深い選択肢となっている。 本稿では,LLMを用いて生成した可視化の評価をモデル化する問題に対処する。 本稿では,原子部品の評価を分解する理論評価スタックEvaLLMを提案する。
  論文  参考訳（メタデータ） (2024-02-03T14:28:55Z)
• SymbolicAI: A framework for logic-based approaches combining generative models and solvers [9.841285581456722]
  生成過程における概念学習とフロー管理に論理的アプローチを取り入れた,汎用的でモジュール化されたフレームワークであるSybolicAIを紹介する。 我々は,大規模言語モデル(LLM)を,自然言語命令と形式言語命令の両方に基づいてタスクを実行する意味的解決器として扱う。
  論文  参考訳（メタデータ） (2024-02-01T18:50:50Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。