論文の概要: HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation

• arxiv url: http://arxiv.org/abs/2311.08896v2
• Date: Sat, 27 Apr 2024 12:51:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 00:25:09.574079
• Title: HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation
• Title（参考訳）: HeLM: 拡張テーブル・ツー・テキスト生成のためのハイライトエビデンス拡張言語モデル
• Authors: Junyi Bian, Xiaolei Qin, Wuhe Zou, Mengzuo Huang, Congyi Luo, Ke Zhang, Weidong Zhang,
• Abstract要約: LLaMA2モデル上でパラメータ効率の良い微調整を行う。 我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 7.69801337810352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large models have demonstrated significant progress across various domains, particularly in tasks related to text generation. In the domain of Table to Text, many Large Language Model (LLM)-based methods currently resort to modifying prompts to invoke public APIs, incurring potential costs and information leaks. With the advent of open-source large models, fine-tuning LLMs has become feasible. In this study, we conducted parameter-efficient fine-tuning on the LLaMA2 model. Distinguishing itself from previous fine-tuning-based table-to-text methods, our approach involves injecting reasoning information into the input by emphasizing table-specific row data. Our model consists of two modules: 1) a table reasoner that identifies relevant row evidence, and 2) a table summarizer that generates sentences based on the highlighted table. To facilitate this, we propose a search strategy to construct reasoning labels for training the table reasoner. On both the FetaQA and QTSumm datasets, our approach achieved state-of-the-art results. Additionally, we observed that highlighting input tables significantly enhances the model's performance and provides valuable interpretability.
• Abstract（参考訳）: 大規模モデルは、特にテキスト生成に関連するタスクにおいて、様々な領域で顕著な進歩を見せている。 Table to Textのドメインでは、多くのLarge Language Model(LLM)ベースのメソッドが、公開APIを呼び出すプロンプトを変更し、潜在的なコストと情報リークを発生させている。 オープンソースの大規模モデルが出現すると、微調整 LLM が実現可能になった。 本研究では,LLaMA2モデルを用いてパラメータ効率の良い微調整を行った。 従来の微調整に基づくテーブル・トゥ・テクスト法とは相容れないが,本手法では,テーブル固有の行データを強調することにより,推論情報を入力に注入する。 私たちのモデルは2つのモジュールで構成されています。 1)関係行の証拠を識別する表推論器,及び 2)強調表に基づいて文を生成する表要約器。 これを容易にするために、テーブル推論器を訓練するための推論ラベルを構築するための探索戦略を提案する。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。 さらに,入力テーブルの強調表示はモデルの性能を著しく向上させ,重要な解釈可能性を提供することを示した。

関連論文リスト

• ALTER: Augmentation for Large-Table-Based Reasoning [5.164923314261229]
  ALTER(Augmentation for Large-Table-Based Reasoning)は、NL (Free-form Natural Language) とNL (Augmentation for Large-Table-Based Reasoning) の双方の質問において、潜在的な拡張可能性を活用するために設計されたフレームワークである。 テーブルからの関連データの小さなサブセットのみを利用することで、ALTERはテーブルベースの推論ベンチマークで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-03T12:34:45Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 この設定をよりよく評価し、モデリング作業を容易にするために、テーブルを通してのテキストと計算について紹介する。 TACTには、1つ以上のテキストに散在する縫合情報を要求し、この情報を複雑な統合して回答を生成する、困難な命令が含まれている。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• Automated Data Visualization from Natural Language via Large Language Models: An Exploratory Study [41.84915013818794]
  The Natural Language to Visualization (NL2Vis) taskは、自然言語記述を接地テーブルの視覚表現に変換することを目的としている。 多くのディープラーニングベースのアプローチがNL2Vis向けに開発されているが、目に見えないデータベースや複数のテーブルにまたがるデータの視覚化には課題が続いている。 本稿では,Large Language Models (LLMs) の顕著な生成能力からインスピレーションを得て,その可能性を評価するための実証的研究を行う。
  論文  参考訳（メタデータ） (2024-04-26T03:25:35Z)
• Large Language Model for Table Processing: A Survey [9.144614058716083]
  大規模言語モデル (LLMs) は、学術や産業から大きな利益を得る。 テーブルは通常2次元で、大量のデータを格納するために構成され、データベースクエリやスプレッドシート計算、Webテーブルからのレポート生成といった日々のアクティビティに不可欠である。 この調査は、テーブル質問応答(Table QA)や事実検証といった従来の領域だけでなく、テーブル操作や高度なテーブルデータ分析といった、新たに強調された側面を含む、テーブルタスクの広範な概要を提供する。
  論文  参考訳（メタデータ） (2024-02-04T00:47:53Z)
• TDeLTA: A Light-weight and Robust Table Detection Method based on Learning Text Arrangement [34.73880086005418]
  本稿では,学習テキストアレンジメント(TDeLTA)に基づく新しい,軽量で堅牢なテーブル検出手法を提案する。 表を正確に特定するために,表内の意味的役割に応じてテキストブロックを4つのカテゴリに分類するテキスト分類タスクを設計する。 いくつかの最先端の手法と比較して、TDeLTAは大規模な公開データセットの3.1Mモデルパラメータで競合する結果を得る。
  論文  参考訳（メタデータ） (2023-12-18T09:18:43Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [58.11442663694328]
  テーブルプロンプトを生成するための多用途前処理ツールボックスとして,TAP4LLMを提案する。 各モジュールにおいて、様々なシナリオで使用されるいくつかの一般的なメソッドを収集し、設計する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• QTSumm: Query-Focused Summarization over Tabular Data [58.62152746690958]
  人々は主に、データ分析を行うか、特定の質問に答えるためにテーブルをコンサルティングします。 そこで本研究では,テキスト生成モデルに人間的な推論を行なわなければならない,クエリ中心のテーブル要約タスクを新たに定義する。 このタスクには,2,934テーブル上の7,111の人間注釈付きクエリ-サマリーペアを含む,QTSummという新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:43:51Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach [60.03002572791552]
  本稿では,テーブル構造理解とテキスト検討手法,すなわちTASDを提案する。 具体的には,表構造を考慮したテキスト生成モデルを実現するために,三層多層アテンションネットワークを考案する。 われわれのアプローチは、様々な種類のテーブルに対して忠実で流動的な記述テキストを生成することができる。
  論文  参考訳（メタデータ） (2023-01-05T14:03:26Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。