論文の概要: Attention Is Indeed All You Need: Semantically Attention-Guided Decoding
for Data-to-Text NLG
- arxiv url: http://arxiv.org/abs/2109.07043v1
- Date: Wed, 15 Sep 2021 01:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 15:17:37.709841
- Title: Attention Is Indeed All You Need: Semantically Attention-Guided Decoding
for Data-to-Text NLG
- Title（参考訳）: 注意:データからテキストへのNLGのためのセマンティックな注意ガイドによるデコーディング
- Authors: Juraj Juraska and Marilyn Walker
- Abstract要約: 本稿では,エンコーダ・デコーダモデルのクロスアテンションから解釈可能な情報を抽出する新しい復号法を提案する。
生成した出力のセマンティックエラーを劇的に低減する3つのデータセットを示す。
- 参考スコア（独自算出の注目度）: 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ever since neural models were adopted in data-to-text language generation,
they have invariably been reliant on extrinsic components to improve their
semantic accuracy, because the models normally do not exhibit the ability to
generate text that reliably mentions all of the information provided in the
input. In this paper, we propose a novel decoding method that extracts
interpretable information from encoder-decoder models' cross-attention, and
uses it to infer which attributes are mentioned in the generated text, which is
subsequently used to rescore beam hypotheses. Using this decoding method with
T5 and BART, we show on three datasets its ability to dramatically reduce
semantic errors in the generated outputs, while maintaining their
state-of-the-art quality.
- Abstract（参考訳）: ニューラルモデルは、データ-テキスト言語生成に採用されて以来、通常、入力に提供されるすべての情報を確実に参照するテキストを生成する能力がないため、その意味的正確性を改善するために、外在的なコンポーネントに依存してきた。
本稿では,エンコーダ・デコーダモデルのクロスアテンションから解釈可能な情報を抽出し,どの属性が生成テキストに言及しているかを推測する手法を提案する。
T5 と BART を用いたこの復号化手法を用いて,生成した出力のセマンティックエラーを劇的に低減する3つのデータセットについて,最先端の品質を維持しながら示す。
関連論文リスト
- Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。
ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。
制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
論文 参考訳（メタデータ） (2024-02-08T03:41:39Z) - PixT3: Pixel-based Table-To-Text Generation [66.96636025277536]
本稿では,線形化と入力サイズ制限の課題を克服するマルチモーダルテーブル・トゥ・テキスト・モデルPixT3を提案する。
ToTToとLogic2Textベンチマークの実験では、PixT3はテキストのみで動作するジェネレータよりも競争力があり、優れていることが示されている。
論文 参考訳（メタデータ） (2023-11-16T11:32:47Z) - Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge
Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。
従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。
本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文 参考訳（メタデータ） (2023-08-30T02:22:40Z) - Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt
Tuning and Analysis of the Utility of Generated Text in AI [2.381686610905853]
我々は,T5モデルにおいて,エンコーダレベルとデコーダレベルの両方でソフトプロンプトを使用する新しいソフトプロンプトチューニング手法を提案する。
また,この拡張軟性誘導型T5モデルのデコーダレベルでの出力のステアリングの可能性についても検討した。
論文 参考訳（メタデータ） (2022-12-06T12:31:53Z) - Informative Text Generation from Knowledge Triples [56.939571343797304]
本稿では,トレーニング中に学習した有用な知識を記憶するために,メモリネットワークを利用した新しいメモリ拡張ジェネレータを提案する。
我々は、新しい設定のためのWebNLGからデータセットを導き、我々のモデルの有効性を調べるための広範な実験を行う。
論文 参考訳（メタデータ） (2022-09-26T14:35:57Z) - Reinforced Generative Adversarial Network for Abstractive Text
Summarization [7.507096634112164]
シーケンス・ツー・シーケンス・モデルは、生成的要約に対する実行可能な新しいアプローチを提供する。
これらのモデルには3つの欠点がある: 原文の詳細の把握はしばしば不正確なものであり、そのようなモデルによって生成されたテキストは繰り返しとなることが多い。
本稿では,強化学習と敵対的生成ネットワークを組み合わせた新しいアーキテクチャを提案し,シーケンス・ツー・シーケンス・アテンション・モデルを提案する。
論文 参考訳（メタデータ） (2021-05-31T17:34:47Z) - Rethinking Text Line Recognition Models [57.47147190119394]
2つのデコーダファミリー(コネクショニスト時間分類と変換器)と3つのエンコーダモジュール(双方向LSTM、自己認識、GRCL)を考える。
広く使用されているシーンと手書きテキストの公開データセットの精度とパフォーマンスを比較します。
より一般的なTransformerベースのモデルとは異なり、このアーキテクチャは任意の長さの入力を処理できる。
論文 参考訳（メタデータ） (2021-04-15T21:43:13Z) - Adversarial Watermarking Transformer: Towards Tracing Text Provenance
with Data Hiding [80.3811072650087]
自然言語の透かしを防御として研究し,テキストの出所の発見と追跡に役立てる。
本稿では,適応型透かし変換器(AWT)とエンコーダ・デコーダ・デコーダを併用した対向型透かし変換器(AWT)について述べる。
AWTは、テキストにデータを隠蔽する最初のエンドツーエンドモデルである。
論文 参考訳（メタデータ） (2020-09-07T11:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。