論文の概要: Structsum Generation for Faster Text Comprehension
- arxiv url: http://arxiv.org/abs/2401.06837v1
- Date: Fri, 12 Jan 2024 17:43:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 21:09:46.561434
- Title: Structsum Generation for Faster Text Comprehension
- Title(参考訳): 高速テキスト理解のための構造体生成
- Authors: Parag Jain, Andreea Marzoca, Francesco Piccinno
- Abstract要約: 大規模言語モデル(LLM)を用いてテキストの構造化表現を生成するタスクについて検討する。
表やマインドマップを代表的モダリティとして重視する。
現在のモデルでは、構造的なアウトプットの生成に苦労しています。
- 参考スコア(独自算出の注目度): 6.416167405089356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the task of generating structured representations of text using
large language models (LLMs). We focus on tables and mind maps as
representative modalities. Tables are more organized way of representing data,
while mind maps provide a visually dynamic and flexible approach, particularly
suitable for sparse content. Despite the effectiveness of LLMs on different
tasks, we show that current models struggle with generating structured outputs.
In response, we present effective prompting strategies for both of these tasks.
We introduce a taxonomy of problems around factuality, global and local
structure, common to both modalities and propose a set of critiques to tackle
these issues resulting in an absolute improvement in accuracy of +37pp (79%)
for mind maps and +15pp (78%) for tables. To evaluate semantic coverage of
generated structured representations we propose Auto-QA, and we verify the
adequacy of Auto-QA using SQuAD dataset. We further evaluate the usefulness of
structured representations via a text comprehension user study. The results
show a significant reduction in comprehension time compared to text when using
table (42.9%) and mind map (31.9%), without loss in accuracy.
- Abstract(参考訳): 大規模言語モデル(LLM)を用いてテキストの構造化表現を生成するタスクについて検討する。
表とマインドマップを代表的モダリティとして重視する。
テーブルはデータ表現の組織的な方法であり、マインドマップは視覚的にダイナミックで柔軟なアプローチを提供し、特にスパースコンテンツに適している。
異なるタスクにおけるLLMの有効性にもかかわらず、現在のモデルが構造化出力の生成に苦戦していることを示す。
また,これらの課題に対して効果的なプロンプト戦略を提案する。
事実性,大域的および局所的構造に関する問題の分類法を導入し,これらの問題に対処するための一連の批判を行い,マインドマップでは+37pp (79%) ,テーブルでは+15pp (78%) の絶対的精度向上を実現した。
生成した構造化表現のセマンティックカバレッジを評価するためにAuto-QAを提案し,SQuADデータセットを用いたAuto-QAの妥当性を検証する。
さらに,テキスト理解ユーザ研究による構造化表現の有用性を評価する。
その結果、表 (42.9%) とマインドマップ (31.9%) を用いた場合の理解時間の大幅な短縮がみられ、精度の低下はみられなかった。
関連論文リスト
- Wiki-TabNER:Advancing Table Interpretation Through Named Entity
Recognition [19.423556742293762]
TIタスクの評価に広く用いられているベンチマークデータセットを分析した。
この欠点を克服するため、我々はより困難なデータセットを構築し、注釈付けします。
本稿では,新たに開発された大規模言語モデルを評価するためのプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T15:22:07Z) - Rethinking Tabular Data Understanding with Large Language Models [39.38132513255292]
本研究では,大規模言語モデル(LLM)のテーブル構造摂動に対する堅牢性について検討する。
我々は,同じ内容を示す表の構造的差異が,特に記号的推論タスクにおいて顕著な性能低下を示すことを示した。
テキストおよび記号的推論経路の集約は, 混合自己整合機構によって促進され, SOTA性能が73.6%向上し, WIKITABLEQUESTIONSの精度が向上した。
論文 参考訳(メタデータ) (2023-12-27T19:58:52Z) - ReTAG: Reasoning Aware Table to Analytic Text Generation [12.603569641254417]
ReTAGは、ベクトル量子化を用いて異なるタイプの解析的推論を出力に注入するテーブルおよび推論認識モデルである。
私たちは、ToTTo、InfoTabsデータセットを参照文毎に推論カテゴリで拡張(そして、オープンソースの35.6K分析、55.9k記述インスタンス)します。
論文 参考訳(メタデータ) (2023-05-19T17:03:09Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-16T17:45:23Z) - Doc2SoarGraph: Discrete Reasoning over Visually-Rich Table-Text
Documents via Semantic-Oriented Hierarchical Graphs [79.0426838808629]
視覚的にリッチなテーブルテキスト文書に答えるTAT-DQAを提案する。
具体的には、離散推論機能を強化した新しいDoc2SoarGraphフレームワークを提案する。
我々は,TAT-DQAデータセットに関する広範な実験を行い,提案したフレームワークは,テストセット上でのエクサクティマッチ(EM)とF1スコアでそれぞれ17.73%,F1スコアで16.91%の最高のベースラインモデルを上回る結果を得た。
論文 参考訳(メタデータ) (2023-05-03T07:30:32Z) - Table Retrieval May Not Necessitate Table-specific Model Design [83.27735758203089]
テーブル検索のタスクに焦点をあてて、"テーブル固有のモデル設計はテーブル検索に必要か?
自然質問データセット (NQ-table) の表に基づく分析の結果, 70%以上の症例では構造が無視できる役割を担っていることがわかった。
次に、テーブル構造、すなわち補助列/カラム埋め込み、ハードアテンションマスク、ソフトリレーションに基づくアテンションバイアスを明示的にエンコードする3つのモジュールを実験する。
いずれも大きな改善は得られず、テーブル固有のモデル設計がテーブル検索に不要である可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-19T20:35:23Z) - Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent
Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。
本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。
提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文 参考訳(メタデータ) (2021-01-05T18:11:29Z) - A Graph Representation of Semi-structured Data for Web Question
Answering [96.46484690047491]
本稿では、半構造化データとそれらの関係の構成要素の体系的分類に基づいて、Webテーブルとリストのグラフ表現を提案する。
本手法は,最先端のベースラインに対してF1スコアを3.90ポイント向上させる。
論文 参考訳(メタデータ) (2020-10-14T04:01:54Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳(メタデータ) (2020-10-10T14:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。