論文の概要: Leveraging Natural Supervision for Language Representation Learning and Generation

• arxiv url: http://arxiv.org/abs/2207.10617v1
• Date: Thu, 21 Jul 2022 17:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:44:56.671246
• Title: Leveraging Natural Supervision for Language Representation Learning and Generation
• Title（参考訳）: 言語表現学習と生成のための自然監督の活用
• Authors: Mingda Chen
• Abstract要約: 自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.083109555490475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in Natural Language Processing (NLP) have been driven by language models trained on a massive amount of plain text. While powerful, deriving supervision from textual resources is still an open question. For example, language model pretraining often neglects the rich, freely-available structures in textual data. In this thesis, we describe three lines of work that seek to improve the training and evaluation of neural models using naturally-occurring supervision. We first investigate self-supervised training losses to help enhance the performance of pretrained language models for various NLP tasks. Specifically, we alter the sentence prediction loss to make it better suited to other pretraining losses and more challenging to solve. We design an intermediate finetuning step that uses self-supervised training to promote models' ability in cross-task generalization. Then we describe methods to leverage the structures in Wikipedia and paraphrases. In particular, we propose training losses to exploit hyperlinks, article structures, and article category graphs for entity-, discourse-, entailment-related knowledge. We propose a framework that uses paraphrase pairs to disentangle semantics and syntax in sentence representations. We extend the framework for a novel generation task that controls the syntax of output text with a sentential exemplar. Lastly, we discuss our work on tailoring textual resources for establishing challenging evaluation tasks. We introduce three datasets by defining novel tasks using various fan-contributed websites, including a long-form data-to-text generation dataset, a screenplay summarization dataset, and a long-form story generation dataset. These datasets have unique characteristics offering challenges to future work in their respective task settings.
• Abstract（参考訳）: 自然言語処理(NLP)の最近の進歩は、大量のプレーンテキストで訓練された言語モデルによって推進されている。 強力ではあるが、テキストリソースから監督を引き出すことは、まだ未解決の問題だ。 例えば、言語モデルの事前学習は、テキストデータのリッチで自由に利用可能な構造をしばしば無視する。 本稿では,神経モデルの学習と評価を自然発生的監督を用いて改善しようとする3つの作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 具体的には、文予測の損失を、他の訓練済みの損失に合致し、より解決が困難になるよう変更する。 我々は,タスク間の一般化におけるモデルの能力を促進するために,自己教師付きトレーニングを用いた中間的微調整ステップを設計する。 次に、ウィキペディアとパラフレーズの構造を利用する方法を説明する。 特に,ハイパーリンク,記事構造,記事カテゴリグラフを用いたエンティティ,談話,包括的知識の活用のための学習損失を提案する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。 本稿では,テキストの構文を逐次例で制御する新しい生成タスクのためのフレームワークを拡張する。 最後に,課題評価タスクの確立に向けて,テキストリソースの調整作業について論じる。 本稿では,長文データ・テキスト生成データセット,画面要約データセット,長文ストーリー生成データセットなど,さまざまなWebサイトを用いて新たなタスクを定義することで,3つのデータセットを紹介する。 これらのデータセットには、それぞれのタスク設定で将来の作業に課題を提供するユニークな特徴がある。

関連論文リスト

• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Surveying the Landscape of Text Summarization with Deep Learning: A Comprehensive Review [2.4185510826808487]
  ディープラーニングは、言語データの複雑な表現を学習できるモデルの開発を可能にすることによって、自然言語処理(NLP)に革命をもたらした。 NLPのディープラーニングモデルは、通常、大量のデータを使用してディープニューラルネットワークをトレーニングし、言語データ内のパターンと関係を学習する。 テキスト要約にディープラーニングを適用することは、テキスト要約タスクを実行するためにディープニューラルネットワークを使用することを指す。
  論文  参考訳（メタデータ） (2023-10-13T21:24:37Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Facts2Story: Controlling Text Generation by Key Facts [0.0]
  自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。 我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:14:29Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
  本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。 本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
  論文  参考訳（メタデータ） (2020-04-23T08:41:52Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。