論文の概要: Investigating Table-to-Text Generation Capabilities of LLMs in
Real-World Information Seeking Scenarios
- arxiv url: http://arxiv.org/abs/2305.14987v2
- Date: Mon, 30 Oct 2023 22:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 02:28:49.303637
- Title: Investigating Table-to-Text Generation Capabilities of LLMs in
Real-World Information Seeking Scenarios
- Title(参考訳): 実世界情報検索シナリオにおけるLCMのテーブル・ツー・テキスト生成能力の検討
- Authors: Yilun Zhao, Haowei Zhang, Shengyun Si, Linyong Nan, Xiangru Tang,
Arman Cohan
- Abstract要約: タブラルデータは様々な産業で広く使われており、ユーザが情報検索の目的を理解し、操作するのにかなりの時間と労力を要する。
テーブル情報探索における大規模言語モデル (LLM) の現実的応用は, いまだに実証されていない。
本稿では,2つの実世界情報探索シナリオ内の4つのデータセットを用いて,異なるLLMのテーブル・トゥ・テキスト機能について検討する。
- 参考スコア(独自算出の注目度): 32.84523661055774
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular data is prevalent across various industries, necessitating
significant time and effort for users to understand and manipulate for their
information-seeking purposes. The advancements in large language models (LLMs)
have shown enormous potential to improve user efficiency. However, the adoption
of LLMs in real-world applications for table information seeking remains
underexplored. In this paper, we investigate the table-to-text capabilities of
different LLMs using four datasets within two real-world information seeking
scenarios. These include the LogicNLG and our newly-constructed LoTNLG datasets
for data insight generation, along with the FeTaQA and our newly-constructed
F2WTQ datasets for query-based generation. We structure our investigation
around three research questions, evaluating the performance of LLMs in
table-to-text generation, automated evaluation, and feedback generation,
respectively. Experimental results indicate that the current high-performing
LLM, specifically GPT-4, can effectively serve as a table-to-text generator,
evaluator, and feedback generator, facilitating users' information seeking
purposes in real-world scenarios. However, a significant performance gap still
exists between other open-sourced LLMs (e.g., Tulu and LLaMA-2) and GPT-4
models. Our data and code are publicly available at
https://github.com/yale-nlp/LLM-T2T.
- Abstract(参考訳): タブラルデータは様々な産業で広く使われており、ユーザが情報検索の目的を理解し、操作するのにかなりの時間と労力を要する。
大規模言語モデル(LLM)の進歩は、ユーザ効率を向上させる大きな可能性を示している。
しかし、テーブル情報探索のための実世界の応用におけるLLMの採用は、いまだに未定である。
本稿では,2つの実世界情報探索シナリオ内の4つのデータセットを用いて,異なるLLMのテーブル・トゥ・テキスト機能について検討する。
LogicNLGや、新たに構築したデータインサイト生成用のLoTNLGデータセット、FeTaQAやクエリベースの生成用のF2WTQデータセットなどです。
3つの研究課題について調査を行い,テーブル・ツー・テキスト生成,自動評価,フィードバック生成におけるllmの性能評価を行った。
実験結果から,現在の高性能LCM(特にGPT-4)は,実世界のシナリオにおいて,ユーザの情報検索を目的としたテーブル・ツー・テキスト・ジェネレータ,評価器,フィードバック・ジェネレータとして効果的に機能することが示唆された。
しかし、他のオープンソース LLM (Tulu と LLaMA-2) と GPT-4 の間には大きな性能差がある。
私たちのデータとコードはhttps://github.com/yale-nlp/LLM-T2Tで公開されています。
関連論文リスト
- Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over
Tabular and Textual Data [77.66158066013924]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - Beyond Reference-Based Metrics: Analyzing Behaviors of Open LLMs on
Data-to-Text Generation [2.9206268153110084]
データ・トゥ・テキスト・ジェネレーション(D2T)におけるオープン・大規模言語モデル(LLM)の振る舞いを解析する。
近年のオープン LLM は,標準データフォーマットからゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
オープンLLMの出力の80%以上は意味的誤りを含む。
論文 参考訳(メタデータ) (2024-01-18T18:15:46Z) - Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation
in ultra low-data regimes [62.94611066903098]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。
従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-19T12:34:46Z) - Integrating Graphs with Large Language Models: Methods and Prospects [68.37584693537555]
大規模言語モデル (LLMs) が最前線として登場し、様々なアプリケーションにおいて非並列の長所を示している。
LLMとグラフ構造化データを組み合わせることは、非常に興味深いトピックです。
本稿では、そのような統合を2つの主要なカテゴリに分岐する。
論文 参考訳(メタデータ) (2023-10-09T07:59:34Z) - Can LLMs Augment Low-Resource Reading Comprehension Datasets?
Opportunities and Challenges [3.358625623993593]
GPT-4は、既存の読解データセットを強化するために使用できる。
この研究は、QAシステムのための合成データ拡張器としてLLMを初めて分析した。
論文 参考訳(メタデータ) (2023-09-21T18:48:02Z) - Large Language Models as Data Preprocessors [10.914067455923847]
OpenAIのGPTシリーズとMetaのLLaMAに代表されるLarge Language Models (LLMs)は、人工知能において大きな進歩を遂げている。
この研究は、LLMの応用を拡大し、データ前処理におけるその可能性を探る。
我々は,最先端のプロンプト技術を統合したデータ前処理のためのLLMベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-30T23:28:43Z) - MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。
各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。
ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。
品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
論文 参考訳(メタデータ) (2023-08-25T01:41:04Z) - LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language
Models [13.659853119356507]
大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクにおいて印象的な能力を示した。
彼らは幻覚を起こす傾向があり、モデルがその反応の中で誤った情報や誤った情報を公開する。
ユーザによるQ&Aデータセットに対するLLMの性能評価を可能にする新しい可視化手法として,LLMMapsを提案する。
論文 参考訳(メタデータ) (2023-04-02T05:47:09Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。