論文の概要: Evaluating and Enhancing Structural Understanding Capabilities of Large
Language Models on Tables via Input Designs
- arxiv url: http://arxiv.org/abs/2305.13062v1
- Date: Mon, 22 May 2023 14:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 15:37:58.601991
- Title: Evaluating and Enhancing Structural Understanding Capabilities of Large
Language Models on Tables via Input Designs
- Title（参考訳）: 入力設計による表上の大規模言語モデルの構造理解能力の評価と向上
- Authors: Yuan Sui, Mengyu Zhou, Mingjie Zhou, Shi Han, Dongmei Zhang
- Abstract要約: 大規模言語モデル (LLM) は、NL関連タスクを解決するための数ショットの推論器として魅力的になってきている。
我々は、LLMの構造理解能力(SUC)を評価するためのベンチマークを設計することで、これを理解しようとしている。
LLMの内部知識を用いた重要な値/範囲の同定など、効果的な構造的プロンプトのための自己拡張を提案する。
- 参考スコア（独自算出の注目度）: 33.58792284488519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are becoming attractive as few-shot reasoners to
solve NL-related tasks. However, there is still much to be learned about how
well LLMs understand structured data, such as tables. While it is true that
tables can be used as inputs to LLMs with serialization, there lack
comprehensive studies examining whether LLMs can truly comprehend such data. In
this paper we try to understand this by designing a benchmark to evaluate
structural understanding capabilities (SUC) of LLMs. The benchmark we create
includes seven tasks, each with their own unique challenges, e.g,, cell lookup,
row retrieval and size detection. We run a series of evaluations on GPT-3
family models (e.g., text-davinci-003). We discover that the performance varied
depending on a number of input choices, including table input format, content
order, role prompting and partition marks. Drawing from the insights gained
through the benchmark evaluations, we then propose self-augmentation for
effective structural prompting, e.g., critical value / range identification
using LLMs' internal knowledge. When combined with carefully chosen input
choices, these structural prompting methods lead to promising improvements in
LLM performance on a variety of tabular tasks, e.g., TabFact($\uparrow2.31\%$),
HybridQA($\uparrow2.13\%$), SQA($\uparrow2.72\%$), Feverous($\uparrow0.84\%$),
and ToTTo($\uparrow5.68\%$). We believe our benchmark and proposed prompting
methods can serve as a simple yet generic selection for future research. The
code and data are released in
https://anonymous.4open.science/r/StructuredLLM-76F3.
- Abstract（参考訳）: 大規模言語モデル (LLM) は、NL関連タスクを解決するための数ショットの推論器として魅力的になりつつある。
しかし、LLMがテーブルのような構造化データをどのように理解しているかについては、まだ学ぶべきことがたくさんある。
テーブルを直列化して LLM への入力として使用できることは事実であるが、そのようなデータを真に理解できるかどうかを総合的に検討する研究は存在しない。
本稿では,llmsの構造理解能力(suc)を評価するベンチマークを設計して,その理解を試みる。
ベンチマークには7つのタスクが含まれており、それぞれに独自の課題、例えばセルルックアップ、行検索、サイズ検出などがあります。
GPT-3ファミリーモデル(例: text-davinci-003)で一連の評価を行う。
その結果,テーブル入力形式,コンテンツ順序,ロールプロンプト,パーティションマークなど,多数の入力選択によって性能が変化していることが判明した。
ベンチマーク評価によって得られた知見から,LLMの内部知識を用いた重要な値/範囲識別などの効果的な構造的プロンプトのための自己拡張を提案する。
慎重に選択された入力選択と組み合わせることで、TabFact($\uparrow2.31\%$)、HybridQA($\uparrow2.13\%$)、SQA($\uparrow2.72\%$)、Feverous($\uparrow0.84\%$)、ToTTo($\uparrow5.68\%$$)といった様々なタブタスクにおけるLCMのパフォーマンスが向上する。
当社のベンチマークと提案手法は,今後の研究のための単純かつ汎用的な選択として機能すると思います。
コードとデータはhttps://anonymous.4open.science/r/structuredllm-76f3でリリースされる。
関連論文リスト
- Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。
私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。
LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
論文 参考訳（メタデータ） (2024-10-30T17:02:54Z) - From Natural Language to SQL: Review of LLM-based Text-to-SQL Systems [1.1060425537315088]
この調査は、LLMベースのテキスト・ツー・スカルシステムの進化に関する包括的研究を提供する。
ベンチマーク、評価方法、評価指標について議論する。
効率性、モデルプライバシ、データプライバシといった重要な課題を、その開発と潜在的な領域の改善の観点から強調する。
論文 参考訳（メタデータ） (2024-10-01T20:46:25Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - AnnotatedTables: A Large Tabular Dataset with Language Model Annotations [8.602181445598776]
本稿では,多種多様な表データのアノテーションを機械学習で自動生成する方法を示す。
LLM生成アノテーションを備えた32,119のデータベースのコレクションであるAnnotatedTablesをリリースしました。
LLMによって同定された入力ターゲット列を持つ2,720のテーブル上で,ベイジアン事前訓練を行った最近のニューラルネットワーク分類器であるTabPFNの性能評価を行った。
論文 参考訳（メタデータ） (2024-06-24T06:44:14Z) - TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios [52.73289223176475]
TableLLMは、13億のパラメータを持つ堅牢な大規模言語モデル(LLM)である。
TableLLMはデータ操作タスクを巧みに扱うために構築されている。
我々は、ユーザインタラクションのためのモデルチェックポイント、ソースコード、ベンチマーク、Webアプリケーションをリリースした。
論文 参考訳（メタデータ） (2024-03-28T11:21:12Z) - Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments [40.95811668230818]
本稿では,構造化環境に対する効率的な推論を行うために,Reasoning-Path-Editing (Readi)を提案する。
Readiはクエリが与えられた推論パスを生成し、必要なときにのみそのパスを編集する。
3つのKGQAデータセットと2つのTableQAデータセットの実験結果から、Readiの有効性が示された。
論文 参考訳（メタデータ） (2024-03-13T14:59:07Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - LLM-augmented Preference Learning from Natural Language [19.700169351688768]
大規模言語モデル(LLM)は、より大きな文脈長を扱う。
LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。
ゼロショット学習よりもパフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-10-12T17:17:27Z) - You can't pick your neighbors, or can you? When and how to rely on
retrieval in the $k$NN-LM [65.74934004876914]
Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。
そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。
本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
論文 参考訳（メタデータ） (2022-10-28T02:57:40Z) - Large Language Models are few(1)-shot Table Reasoners [31.036914270008978]
大規模言語モデル(LLM)は、テキスト推論タスクを解くために、非常に優れた数ショット推論器である。
本稿では,LLMが数発の文脈内学習でテーブルタスクでどれだけうまく機能するかを理解することを目的としている。
論文 参考訳（メタデータ） (2022-10-13T04:08:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。