論文の概要: Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task

• arxiv url: http://arxiv.org/abs/2010.05141v1
• Date: Sun, 11 Oct 2020 02:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 13:25:22.920317
• Title: Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
• Title（参考訳）: 今後の計画:段落完成作業のための自己監督型テキスト計画
• Authors: Dongyeop Kang, Eduard Hovy
• Abstract要約: まず最初に何を言おうかを予測する自己教師型テキストプランナSSPlannerを提案する。 その後、予測された内容を用いて事前訓練された言語モデル(表面実現)を導出する。 また,名詞型と動詞型の組み合わせが,コンテンツ選択に最も有効であることも確認した。
• 参考スコア（独自算出の注目度）: 14.483791451578007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent success of contextualized language models on various NLP tasks, language model itself cannot capture textual coherence of a long, multi-sentence document (e.g., a paragraph). Humans often make structural decisions on what and how to say about before making utterances. Guiding surface realization with such high-level decisions and structuring text in a coherent way is essentially called a planning process. Where can the model learn such high-level coherence? A paragraph itself contains various forms of inductive coherence signals called self-supervision in this work, such as sentence orders, topical keywords, rhetorical structures, and so on. Motivated by that, this work proposes a new paragraph completion task PARCOM; predicting masked sentences in a paragraph. However, the task suffers from predicting and selecting appropriate topical content with respect to the given context. To address that, we propose a self-supervised text planner SSPlanner that predicts what to say first (content prediction), then guides the pretrained language model (surface realization) using the predicted content. SSPlanner outperforms the baseline generation models on the paragraph completion task in both automatic and human evaluation. We also find that a combination of noun and verb types of keywords is the most effective for content selection. As more number of content keywords are provided, overall generation quality also increases.
• Abstract（参考訳）: 近年のNLPタスクにおける文脈化言語モデルの成功にもかかわらず、言語モデル自体が長い多文文書(例えば1段落)のテキストコヒーレンスをキャプチャすることはできない。 人間は発話する前に、しばしば構造的な決定を下す。 このようなハイレベルな決定とテキストのコヒーレントな構造化で表面実現を導くことは、本質的には計画プロセスと呼ばれる。 モデルはこのようなハイレベルなコヒーレンスをどこで学べますか? パラグラフ自体は、文の順序、話題キーワード、修辞構造など、この作品において自己スーパービジョンと呼ばれる様々な帰納的コヒーレンス信号を含んでいる。 そこで本研究では,新しい段落補完タスクparcomを提案し,段落内のマスキング文の予測を行う。 しかし、タスクは与えられたコンテキストに関して適切なトピックコンテンツの予測と選択に苦しむ。 そこで本研究では,まず何を言おうか(コンテンツ予測)を予測し,次に予測内容を用いて事前学習した言語モデル(表面実現)を導出する自己教師付きテキストプランナーssplannerを提案する。 ssplannerは、自動評価と人間評価の両方において、段落完了タスクのベースライン生成モデルを上回る。 また,キーワードの名詞型と動詞型の組み合わせが,コンテンツ選択に最も有効であることも判明した。 コンテンツキーワードの数が増えるにつれて、全体の生成品質も向上する。

関連論文リスト

• EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation [114.50719922069261]
  長文物語テキスト生成のための評価誘導反復計画抽出法(EIPE-text)を提案する。 EIPEテキストには、計画抽出、学習、推論の3段階がある。 小説やストーリーテリングの分野におけるEIPEテキストの有効性を評価する。
  論文  参考訳（メタデータ） (2023-10-12T10:21:37Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Data-to-text Generation with Variational Sequential Planning [74.3955521225497]
  非言語的な入力からテキスト出力を生成することを目的としたデータ・ツー・テキスト生成の課題について考察する。 協調的かつ有意義な方法で高レベルの情報を整理する責任を負う計画要素を付加したニューラルモデルを提案する。 我々は、計画と生成のステップをインターリーブしながら、構造化された変動モデルで逐次、潜在計画を推測する。
  論文  参考訳（メタデータ） (2022-02-28T13:17:59Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• Improving Text Auto-Completion with Next Phrase Prediction [9.385387026783103]
  我々の戦略は、Next Phrase Prediction (NPP)と呼ばれる新しい自己指導型トレーニング目標を含む。 予備実験により,メールや学術書記ドメインの自動補完において,本手法がベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T04:26:15Z)
• Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence [59.51720326054546]
  本稿では,デコード処理における文レベルと談話レベルにおけるプレフィックス文を表現可能な長文生成モデルを提案する。 我々のモデルは最先端のベースラインよりも一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2021-05-19T07:29:08Z)
• Summarize, Outline, and Elaborate: Long-Text Generation via Hierarchical Supervision from Extractive Summaries [46.183289748907804]
  長文生成のためのアウトライン化,アウトライン化,エラボレートを行うパイプラインシステムSOEを提案する。 SOEは、より高速な収束速度とともに、非常に優れた品質の長いテキストを生成する。
  論文  参考訳（メタデータ） (2020-10-14T13:22:20Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
  本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。 教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-11T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。