論文の概要: Improving Compositional Generalization with Self-Training for Data-to-Text Generation

• arxiv url: http://arxiv.org/abs/2110.08467v1
• Date: Sat, 16 Oct 2021 04:26:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-21 18:02:34.795417
• Title: Improving Compositional Generalization with Self-Training for Data-to-Text Generation
• Title（参考訳）: データ-テキスト生成のための自己学習による構成一般化の改善
• Authors: Sanket Vaibhav Mehta, Jinfeng Rao, Yi Tay, Mihir Kale, Ankur Parikh, Hongtao Zhong, Emma Strubell
• Abstract要約: データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
• 参考スコア（独自算出の注目度）: 36.973617793800315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-to-text generation focuses on generating fluent natural language responses from structured semantic representations. Such representations are compositional, allowing for the combination of atomic meaning schemata in various ways to express the rich semantics in natural language. Recently, pretrained language models (LMs) have achieved impressive results on data-to-text tasks, though it remains unclear the extent to which these LMs generalize to new semantic representations. In this work, we systematically study the compositional generalization of current state-of-the-art generation models in data-to-text tasks. By simulating structural shifts in the compositional Weather dataset, we show that T5 models fail to generalize to unseen structures. Next, we show that template-based input representations greatly improve the model performance and model scale does not trivially solve the lack of generalization. To further improve the model's performance, we propose an approach based on self-training using finetuned BLEURT for pseudo-response selection. Extensive experiments on the few-shot Weather and multi-domain SGD datasets demonstrate strong gains of our method.
• Abstract（参考訳）: データからテキストへの生成は、構造化された意味表現から流麗な自然言語応答を生成することに焦点を当てる。 このような表現は合成的であり、自然言語における豊かな意味論を表現する様々な方法で原子意味スキーマの組み合わせを可能にする。 近年、事前訓練された言語モデル (LM) はデータ・テキスト・タスクにおいて顕著な成果を上げている。 本研究では,データ・テキスト・タスクにおける現在の最先端生成モデルの合成一般化を体系的に研究する。 構成気象データセットの構造シフトをシミュレートすることにより,t5モデルが未知の構造に一般化できないことを示した。 次に,テンプレートに基づく入力表現がモデル性能を大幅に向上させ,モデルスケールが一般化の欠如を自明に解決しないことを示す。 モデルの性能をさらに向上するために,擬似応答選択のための微調整ブレルートを用いた自己学習に基づくアプローチを提案する。 マイナショット気象とマルチドメインsgdデータセットに関する広範囲な実験により,提案手法の強みが示された。

関連論文リスト

• Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
  本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。 提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-28T03:43:25Z)
• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• Structured Language Generation Model for Robust Structure Prediction [6.4736137270915215]
  損失校正・復号法における手法を用いて,シーケンス・ツー・シーケンスの問題を分類問題に還元するフレームワークを提案する。 実験結果から,SLGMはデータセット情報を明示せずに,データセット固有の微調整を追従し,置き換えることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-14T06:33:22Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Learning Disentangled Representations for Natural Language Definitions [0.0]
  テキストデータの連続的な構文的・意味的規則性は、構造的バイアスと生成的要因の両方をモデルに提供するのに有効である、と我々は主張する。 本研究では,文型,定義文の表現的・意味的に密接なカテゴリに存在する意味的構造を利用して,不整合表現を学習するための変分オートエンコーダを訓練する。
  論文  参考訳（メタデータ） (2022-09-22T14:31:55Z)
• Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale [31.293175512404172]
  Transformer Grammarsは、Transformerの表現力、スケーラビリティ、強力なパフォーマンスを組み合わせたTransformer言語モデルのクラスです。 また, Transformer Grammars は, 構文に敏感な言語モデリング評価指標において, 各種の強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-03-01T17:22:31Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Learning to Synthesize Data for Semantic Parsing [57.190817162674875]
  本稿では,プログラムの構成をモデル化し,プログラムを発話にマップする生成モデルを提案する。 PCFGと事前学習されたBARTの簡易性により,既存のデータから効率的に生成モデルを学習することができる。 GeoQuery と Spider の標準ベンチマークで解析する text-to-Query の in-domain と out-of-domain の両方で、この手法を評価します。
  論文  参考訳（メタデータ） (2021-04-12T21:24:02Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。