論文の概要: Assessing Discourse Relations in Language Generation from GPT-2

• arxiv url: http://arxiv.org/abs/2004.12506v3
• Date: Sat, 31 Oct 2020 05:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-09 13:25:53.513076
• Title: Assessing Discourse Relations in Language Generation from GPT-2
• Title（参考訳）: GPT-2からの言語生成における談話関係の評価
• Authors: Wei-Jen Ko, Junyi Jessy Li
• Abstract要約: GPT-2は、左から右への言語モデリングの目的から、生成タスクに適している。 有機生成シナリオと微調整シナリオの両方において, GPT-2の出力における明示的談話関係の有効性について検討した。
• 参考スコア（独自算出の注目度）: 37.30382375828105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in NLP have been attributed to the emergence of large-scale pre-trained language models. GPT-2, in particular, is suited for generation tasks given its left-to-right language modeling objective, yet the linguistic quality of its generated text has largely remain unexplored. Our work takes a step in understanding GPT-2's outputs in terms of discourse coherence. We perform a comprehensive study on the validity of explicit discourse relations in GPT-2's outputs under both organic generation and fine-tuned scenarios. Results show GPT-2 does not always generate text containing valid discourse relations; nevertheless, its text is more aligned with human expectation in the fine-tuned scenario. We propose a decoupled strategy to mitigate these problems and highlight the importance of explicitly modeling discourse information.
• Abstract（参考訳）: NLPの最近の進歩は、大規模な事前訓練言語モデルの出現によるものである。 特にGPT-2は、左から右への言語モデリングの目的から、生成タスクに適しているが、生成したテキストの言語的品質はほとんど探索されていない。 我々の研究は、談話コヒーレンスの観点から、GPT-2の出力を理解するための一歩を踏み出した。 我々は,有機生成シナリオと微調整シナリオの両方において,GPT-2の出力における明示的談話関係の有効性について包括的な研究を行った。 結果、GPT-2は必ずしも有効な談話関係を含むテキストを生成するわけではない。 本稿では,これらの問題を緩和するための分離戦略を提案し,言論情報を明示的にモデル化することの重要性を強調する。

関連論文リスト

• Wav2Gloss: Generating Interlinear Glossed Text from Speech [78.64412090339044]
  音声から4つの言語アノテーションを自動抽出するタスクであるWav2Glossを提案する。 音声からのインターリニア・グロッシド・テキスト・ジェネレーションの今後の研究の基盤となる基盤となるものについて述べる。
  論文  参考訳（メタデータ） (2024-03-19T21:45:29Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information [68.89000132126536]
  本研究は,音声間言語情報を用いて韻律構造予測(PSP)の性能を向上させることを提案する。 提案手法は,韻律語(PW),韻律語(PPH),国際語句(IPH)の予測におけるF1スコアの向上を実現する。
  論文  参考訳（メタデータ） (2023-08-31T09:19:15Z)
• Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition [14.82259273703819]
  自動音声認識(ASR)のための微調整GPT, GPT-2とその組み合わせを用いた結果を提案する。 双方向のLM出力に基づいて、正しい言語事前確率を計算するための変換法を提案する。 提案された言語事前確率の変換により、BERT は 3% の相対 WERR を受信できる。
  論文  参考訳（メタデータ） (2021-07-29T16:53:37Z)
• As good as new. How to successfully recycle English GPT-2 to make models for other languages [3.6042575355093907]
  日本語のGPT-2をイタリア語とオランダ語に適応させるためには,Transformer層をチューニングすることなく語彙埋め込みをトレーニングする。 我々は, GPT-2小径の語彙埋め込みを GPT-2 媒体埋め込み空間に変換することで, 複雑さを増大させる方法を示す。 英語のgpt-2モデルはイタリア語とオランダ語で現実的な文を生成することができるが、平均してこれらの文は人間によって人工的に識別できる。
  論文  参考訳（メタデータ） (2020-12-10T12:27:16Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Topic-Preserving Synthetic News Generation: An Adversarial Deep Reinforcement Learning Approach [40.254715367640635]
  GPT-2は読みやすいテキストを生成することができ、特定のドメインのテキストを生成するように微調整することができる。 本稿では,話題保存型ニュース生成の新たな課題について考察する。 本稿では,GPT-2の出力を制御するための新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-10-30T15:29:16Z)
• Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
  我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。 本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。 我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2020-06-27T08:24:26Z)
• Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
  最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。 事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。 言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-06-21T17:18:01Z)
• Unsupervised Paraphrase Generation using Pre-trained Language Models [0.0]
  OpenAIのGPT-2は、流動的で、十分に定式化された、文法的に一貫性のあるテキストを生成する能力で有名である。 我々は、GPT-2のこの生成能力を活用し、ラベル付きデータから何の監督も受けずにパラフレーズを生成する。 実験の結果,我々のモデルで生成したパラフレーズは質が良く,多種多様であり,データ拡張に使用する場合のダウンストリームタスク性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-06-09T19:40:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。