論文の概要: Evaluating and Enhancing Structural Understanding Capabilities of Large
Language Models on Tables via Input Designs
- arxiv url: http://arxiv.org/abs/2305.13062v1
- Date: Mon, 22 May 2023 14:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 15:37:58.601991
- Title: Evaluating and Enhancing Structural Understanding Capabilities of Large
Language Models on Tables via Input Designs
- Title(参考訳): 入力設計による表上の大規模言語モデルの構造理解能力の評価と向上
- Authors: Yuan Sui, Mengyu Zhou, Mingjie Zhou, Shi Han, Dongmei Zhang
- Abstract要約: 大規模言語モデル (LLM) は、NL関連タスクを解決するための数ショットの推論器として魅力的になってきている。
我々は、LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで、これを理解しようとしている。
LLMの内部知識を用いた重要な値/範囲の同定など、効果的な構造的プロンプトのための自己拡張を提案する。
- 参考スコア(独自算出の注目度): 33.58792284488519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are becoming attractive as few-shot reasoners to
solve NL-related tasks. However, there is still much to be learned about how
well LLMs understand structured data, such as tables. While it is true that
tables can be used as inputs to LLMs with serialization, there lack
comprehensive studies examining whether LLMs can truly comprehend such data. In
this paper we try to understand this by designing a benchmark to evaluate
structural understanding capabilities (SUC) of LLMs. The benchmark we create
includes seven tasks, each with their own unique challenges, e.g,, cell lookup,
row retrieval and size detection. We run a series of evaluations on GPT-3
family models (e.g., text-davinci-003). We discover that the performance varied
depending on a number of input choices, including table input format, content
order, role prompting and partition marks. Drawing from the insights gained
through the benchmark evaluations, we then propose self-augmentation for
effective structural prompting, e.g., critical value / range identification
using LLMs' internal knowledge. When combined with carefully chosen input
choices, these structural prompting methods lead to promising improvements in
LLM performance on a variety of tabular tasks, e.g., TabFact($\uparrow2.31\%$),
HybridQA($\uparrow2.13\%$), SQA($\uparrow2.72\%$), Feverous($\uparrow0.84\%$),
and ToTTo($\uparrow5.68\%$). We believe our benchmark and proposed prompting
methods can serve as a simple yet generic selection for future research. The
code and data are released in
https://anonymous.4open.science/r/StructuredLLM-76F3.
- Abstract(参考訳): 大規模言語モデル (LLM) は、NL関連タスクを解決するための数ショットの推論器として魅力的になりつつある。
しかし、LLMがテーブルのような構造化データをどのように理解しているかについては、まだ学ぶべきことがたくさんある。
テーブルを直列化して LLM への入力として使用できることは事実であるが、そのようなデータを真に理解できるかどうかを総合的に検討する研究は存在しない。
本稿では,llmsの構造理解能力(suc)を評価するベンチマークを設計して,その理解を試みる。
ベンチマークには7つのタスクが含まれており、それぞれに独自の課題、例えばセルルックアップ、行検索、サイズ検出などがあります。
GPT-3ファミリーモデル(例: text-davinci-003)で一連の評価を行う。
その結果,テーブル入力形式,コンテンツ順序,ロールプロンプト,パーティションマークなど,多数の入力選択によって性能が変化していることが判明した。
ベンチマーク評価によって得られた知見から,LLMの内部知識を用いた重要な値/範囲識別などの効果的な構造的プロンプトのための自己拡張を提案する。
慎重に選択された入力選択と組み合わせることで、TabFact($\uparrow2.31\%$)、HybridQA($\uparrow2.13\%$)、SQA($\uparrow2.72\%$)、Feverous($\uparrow0.84\%$)、ToTTo($\uparrow5.68\%$$)といった様々なタブタスクにおけるLCMのパフォーマンスが向上する。
当社のベンチマークと提案手法は,今後の研究のための単純かつ汎用的な選択として機能すると思います。
コードとデータはhttps://anonymous.4open.science/r/structuredllm-76f3でリリースされる。
関連論文リスト
- TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。
TableLLMはデータ操作タスクを巧みに扱うために構築されている。
我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文 参考訳(メタデータ) (2024-03-28T11:21:12Z) - Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over
Structured Environments [42.05859466572793]
本稿では,構造化環境に対する効率的な推論を行うために,Reasoning-Path-Editing (Readi)を提案する。
Readiはクエリが与えられた推論パスを生成し、必要なときにのみそのパスを編集する。
3つのKGQAデータセットと2つのTableQAデータセットの実験結果は、Readiの有効性を示している。
論文 参考訳(メタデータ) (2024-03-13T14:59:07Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - Tree-Based Hard Attention with Self-Motivation for Large Language Models [7.2677650379517775]
大きな言語モデル(LLM)は、平易なテキストの理解と生成に優れる。
階層的なテキスト構造を扱うように特別に調整されていない。
本稿では,大規模言語モデルのための自己モチベーションを用いた木ベースハードアテンションという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-14T00:40:51Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳(メタデータ) (2023-10-12T17:17:27Z) - An Investigation of LLMs' Inefficacy in Understanding Converse Relations [30.94718664430869]
本稿では,知識グラフ補完データセットから抽出した17の関係と1240のトリプルを含む,逆関係に着目した新しいベンチマークであるConvReを紹介する。
我々のConvREは2つのタスク、Re2TextとText2Reを備えており、LLMが関連テキストと関連するテキストのマッチングを判定する能力を評価するために、多選択質問応答として定式化されている。
論文 参考訳(メタデータ) (2023-10-08T13:45:05Z) - Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。
Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。
実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2023-09-16T11:31:58Z) - Attributed Question Answering: Evaluation and Modeling for Attributed
Large Language Models [68.37431984231338]
大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。
我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
論文 参考訳(メタデータ) (2022-12-15T18:45:29Z) - Large Language Models are few(1)-shot Table Reasoners [31.036914270008978]
大規模言語モデル(LLM)は、テキスト推論タスクを解くために、非常に優れた数ショット推論器である。
本稿では,LLMが数発の文脈内学習でテーブルタスクでどれだけうまく機能するかを理解することを目的としている。
論文 参考訳(メタデータ) (2022-10-13T04:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。