論文の概要: Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach

• arxiv url: http://arxiv.org/abs/2301.02071v1
• Date: Thu, 5 Jan 2023 14:03:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 13:25:21.587477
• Title: Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach
• Title（参考訳）: 事前学習型言語モデルによる表間テキスト生成に向けて:表構造理解とテキスト分割アプローチ
• Authors: Miao Chen, Xinjiang Lu, Tong Xu, Yanyan Li, Jingbo Zhou, Dejing Dou, Hui Xiong
• Abstract要約: 本稿では,テーブル構造理解とテキスト検討手法,すなわちTASDを提案する。 具体的には,表構造を考慮したテキスト生成モデルを実現するために,三層多層アテンションネットワークを考案する。 われわれのアプローチは、様々な種類のテーブルに対して忠実で流動的な記述テキストを生成することができる。
• 参考スコア（独自算出の注目度）: 60.03002572791552
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Although remarkable progress on the neural table-to-text methods has been made, the generalization issues hinder the applicability of these models due to the limited source tables. Large-scale pretrained language models sound like a promising solution to tackle such issues. However, how to effectively bridge the gap between the structured table and the text input by fully leveraging table information to fuel the pretrained model is still not well explored. Besides, another challenge of integrating the deliberation mechanism into the text-to-text pretrained model for solving the table-to-text task remains seldom studied. In this paper, to implement the table-to-text generation with pretrained language model, we propose a table structure understanding and text deliberating approach, namely TASD. Specifically, we devise a three-layered multi-head attention network to realize the table-structure-aware text generation model with the help of the pretrained language model. Furthermore, a multi-pass decoder framework is adopted to enhance the capability of polishing generated text for table descriptions. The empirical studies, as well as human evaluation, on two public datasets, validate that our approach can generate faithful and fluent descriptive texts for different types of tables.
• Abstract（参考訳）: ニューラルテーブル・トゥ・テクスト法に関する顕著な進歩はなされているが、一般化問題は、限られたソーステーブルのため、これらのモデルの適用性を妨げている。 大規模な事前学習された言語モデルは、このような問題に取り組むための有望な解決策のように思える。 しかし、テーブル情報を完全に活用して構造化テーブルとテキスト入力のギャップを効果的に橋渡しする方法は、まだ十分に検討されていない。 また、テーブル・ツー・テキストのタスクを解決するために、テキスト・ツー・テキストの事前学習モデルに統合するもう1つの課題は、ほとんど研究されていない。 本稿では,事前訓練された言語モデルを用いて表からテキストへの生成を実現するために,テーブル構造理解とテキスト検討手法,すなわちTASDを提案する。 具体的には,事前学習した言語モデルの助けを借りて,表構造対応テキスト生成モデルを実現するために,三層マルチヘッドアテンションネットワークを考案する。 さらに、テーブル記述のための生成されたテキストを研磨する能力を高めるために、マルチパスデコーダフレームワークが採用されている。 2つの公開データセットを用いた実証研究は、我々のアプローチが、異なる種類のテーブルに対して忠実で流動的な記述テキストを生成できることを検証する。

関連論文リスト

• UniTabNet: Bridging Vision and Language Models for Enhanced Table Structure Recognition [55.153629718464565]
  我々は、画像からテキストへのモデルに基づくテーブル構造解析のための新しいフレームワークUniTabNetを紹介する。 UniTabNetは、画像とテキストのモデルを使ってテーブルセルを分離し、物理デコーダと論理デコーダを統合して完全なテーブル構造を再構築する。
  論文  参考訳（メタデータ） (2024-09-20T01:26:32Z)
• HeLM: Highlighted Evidence augmented Language Model for Enhanced Table-to-Text Generation [7.69801337810352]
  LLaMA2モデル上でパラメータ効率の良い微調整を行う。 我々のアプローチは、テーブル固有の行データを強調することにより、推論情報を入力に注入することである。 FetaQAデータセットとQTSummデータセットの両方で、我々のアプローチは最先端の結果を得た。
  論文  参考訳（メタデータ） (2023-11-15T12:02:52Z)
• Bridge the Gap between Language models and Tabular Understanding [99.88470271644894]
  自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。 UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
  論文  参考訳（メタデータ） (2023-02-16T15:16:55Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Learning Better Representation for Tables by Self-Supervised Tasks [23.69766883380125]
  本稿では,表表現の学習を支援するために,数値順序付けと有意順序付けという2つの自己教師型タスクを提案する。 本手法はNBAゲーム統計と関連ニュースからなるROTOWIREを用いて検証する。
  論文  参考訳（メタデータ） (2020-10-15T09:03:38Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• Towards Faithful Neural Table-to-Text Generation with Content-Matching Constraints [63.84063384518667]
  そこで本研究では,トランスフォーマーをベースとした新たな生成フレームワークを提案する。 忠実度を強制する手法の中核となる技術は、テーブル-テキストの最適トランスポート・マッチング・ロスである。 忠実度を評価するため,テーブル・ツー・テキスト生成問題に特化した新しい自動尺度を提案する。
  論文  参考訳（メタデータ） (2020-05-03T02:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。