Fugu-MT 論文翻訳(概要): Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs

論文の概要: Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs

arxiv url: http://arxiv.org/abs/2402.12424v4
Date: Thu, 6 Jun 2024 03:02:25 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 21:22:40.170449
Title: Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
Title（参考訳）: テキストや画像としてのテーブル: LLMとMLLMのテーブル推論能力の評価
Authors: Naihao Deng, Zhenjie Sun, Ruiqi He, Aman Sikka, Yulong Chen, Lin Ma, Yue Zhang, Rada Mihalcea,
Abstract要約: 画像に基づく表表現におけるLLMの性能評価を初めて紹介する。本研究は、テーブル関連タスクにおけるLLMの有効利用に関する知見を提供する。
参考スコア（独自算出の注目度）: 37.217169314185846
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we investigate the effectiveness of various LLMs in interpreting tabular data through different prompting strategies and data formats. Our analyses extend across six benchmarks for table-related tasks such as question-answering and fact-checking. We introduce for the first time the assessment of LLMs' performance on image-based table representations. Specifically, we compare five text-based and three image-based table representations, demonstrating the role of representation and prompting on LLM performance. Our study provides insights into the effective use of LLMs on table-related tasks.
Abstract（参考訳）: 本稿では,様々なプロンプト戦略やデータ形式を用いて表形式のデータを解釈する上で,様々なLLMの有効性について検討する。分析は質問応答やファクトチェックなどのテーブル関連タスクのベンチマークを6つに拡張する。画像に基づく表表現におけるLLMの性能評価を初めて紹介する。具体的には,5つのテキストベースと3つの画像ベーステーブル表現を比較し,LLM性能における表現とプロンプトの役割を実証する。本研究は、テーブル関連タスクにおけるLLMの有効利用に関する知見を提供する。

関連論文リスト

TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains [4.828743805126944]
本稿では、テーブルVQA-Benchと呼ばれるテーブル視覚質問応答のベンチマークを確立する。既存のデータセットには、TableVQAの重要な2つのコンポーネントであるイメージやQAペアが組み込まれていない点に注意が必要だ。
論文参考訳（メタデータ） (2024-04-30T02:05:18Z)
TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。 TableLLMはデータ操作タスクを巧みに扱うために構築されている。我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文参考訳（メタデータ） (2024-03-28T11:21:12Z)
Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation [33.41556606816004]
大規模言語モデル(LLM)は、テキストからタスクへ進むための強力なツールとして登場した。最適なプロンプトテンプレートと設計フレームワークについてはまだ合意が得られていない。既存のベンチマークでは、テキスト・ツー・プロセスの様々なサブタスクにまたがるLCMのパフォーマンスが不十分である。
論文参考訳（メタデータ） (2024-03-05T13:23:48Z)
Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。半構造化文書に適した新しいプロンプト技術を導入する。
論文参考訳（メタデータ） (2024-02-17T05:10:18Z)
A Survey of Table Reasoning with Large Language Models [55.2326738851157]
大規模言語モデル(LLM)の使用は、テーブル推論の主流となる。 LLM時代におけるテーブル推論性能の向上に使用される主流技術について分析する。本研究は,既存手法の改良と実用化の拡充の両面から研究の方向性を示す。
論文参考訳（メタデータ） (2024-02-13T07:17:52Z)
Mementos: A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences [80.54979242912944]
本稿では,MLLMの逐次画像推論能力を評価するためのベンチマークであるMementosを紹介する。 MLLMは与えられた画像列の動的情報を正確に記述するのに苦労しており、しばしば幻覚/誤表現につながる。
論文参考訳（メタデータ） (2024-01-19T07:10:13Z)
Tabular Representation, Noisy Operators, and Impacts on Table Structure Understanding Tasks in LLMs [20.58182259406578]
テーブルの即時表現は、テーブルを処理するLLMの能力において役割を果たす。過去の研究とは対照的に,現実の乱雑なデータや敵対的な入力にインスパイアされた8つのノイズ操作を導入する。
論文参考訳（メタデータ） (2023-10-16T12:51:24Z)
Enhancing Few-shot Text-to-SQL Capabilities of Large Language Models: A Study on Prompt Design Strategies [20.15851744895469]
In-context Learning (ICL) は、様々な自然言語処理タスクに対する新しいアプローチとして登場した。本稿では,構造化知識源を利用した解答課題を問うために,この手法を拡張することを目的とする。
論文参考訳（メタデータ） (2023-05-21T22:44:25Z)
ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction [56.790794611002106]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて、文脈内学習による顕著な結果を示している。 ICL-D3IEと呼ばれるシンプルだが効果的なテキスト内学習フレームワークを提案する。具体的には、ハードトレーニング文書から最も困難で独特なセグメントをハードデモとして抽出する。
論文参考訳（メタデータ） (2023-03-09T06:24:50Z)
Large Language Models are few(1)-shot Table Reasoners [31.036914270008978]
大規模言語モデル(LLM)は、テキスト推論タスクを解くために、非常に優れた数ショット推論器である。本稿では,LLMが数発の文脈内学習でテーブルタスクでどれだけうまく機能するかを理解することを目的としている。
論文参考訳（メタデータ） (2022-10-13T04:08:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。