論文の概要: Semantics of the Unwritten: The Effect of End of Paragraph and Sequence Tokens on Text Generation with GPT2

• arxiv url: http://arxiv.org/abs/2004.02251v2
• Date: Mon, 7 Jun 2021 18:26:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 12:54:11.838178
• Title: Semantics of the Unwritten: The Effect of End of Paragraph and Sequence Tokens on Text Generation with GPT2
• Title（参考訳）: 非文章のセマンティクス:GPT2によるテキスト生成におけるパラグラフとシーケンストークンの終端の影響
• Authors: He Bai, Peng Shi, Jimmy Lin, Luchen Tan, Kun Xiong, Wen Gao, Jie Liu, Ming Li
• Abstract要約: 本稿では,eop や end-of-sequence (eos) といった暗黙的な「読まない」情報が,テキスト生成の質に与える影響について検討する。 事前学習された言語モデル GPT2 は、微調整段階において、eop を生成することを学習することで、より良い継続を生成することができる。
• 参考スコア（独自算出の注目度）: 80.6009415082132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The semantics of a text is manifested not only by what is read, but also by what is not read. In this article, we will study how the implicit "not read" information such as end-of-paragraph (\eop) and end-of-sequence (\eos) affect the quality of text generation. Specifically, we find that the pre-trained language model GPT2 can generate better continuations by learning to generate the \eop in the fine-tuning stage. Experimental results on English story generation show that \eop can lead to higher BLEU score and lower \eos perplexity. We also conduct experiments on a self-collected Chinese essay dataset with Chinese-GPT2, a character level LM without \eop or \eos during pre-training. Experimental results show that the Chinese GPT2 can generate better essay endings with \eop.
• Abstract（参考訳）: テキストの意味は、読み取られたものだけでなく、読み取られていないものによっても表される。 本稿では,末尾文(\eop)や末尾文(\eos)といった暗黙の「読めない」情報がどのようにテキスト生成の質に影響を及ぼすかを検討する。 具体的には、事前学習された言語モデル GPT2 が、微調整段階において \eop を生成することを学習することによって、より良い継続を生成できることを見出した。 英語のストーリー生成実験の結果, \eopはBLEUスコアを高くし, \eos Perplexityを下げる可能性が示唆された。 また,漢字レベルlmである中国語gpt2を用いた中国語エッセイデータセットについて,事前学習中に「eop」や「 \eos」を伴わない実験を行った。 実験の結果,中国の GPT2 は \eop でより良いエッセイを作成できることがわかった。

関連論文リスト

• Zero-Shot End-to-End Spoken Language Understanding via Cross-Modal Selective Self-Training [17.796708448741416]
  音声と音声のペアを使わずにエンドツーエンドの言語理解を学習するテクスツロショットE2E SLUを提案する。 CMSSTは3つのモード(音声、テキスト、セマンティクス)の結合空間にクラスタリングすることで不均衡に取り組み、選択ネットワークでラベルノイズを処理する。
  論文  参考訳（メタデータ） (2023-05-22T07:42:52Z)
• Sequentially Controlled Text Generation [97.22539956688443]
  GPT-2は、驚くほど人間らしく、長い文書が混ざり合ったり、人間のような文章構造に従わなかったりする文を生成する。 本研究では,長距離テキストにおける命令構造の問題について検討する。 生成と編集が可能な逐次制御型テキスト生成パイプラインを開発した。
  論文  参考訳（メタデータ） (2023-01-05T21:23:51Z)
• SignNet: Single Channel Sign Generation using Metric Embedded Learning [7.455416595124159]
  このモジュールは、text-to-sign (T2S) と sign-to-text (S2T) を含むデュアルラーニング2タスクプロセスの一部に過ぎない。 本稿では,手話埋め込み間の距離を保存するために,新しいメートル法埋め込み学習プロセスを用いたT2SタスクであるSignNetを提案する。 ポーズを取るための光沢なタスクでは、SignNetは最先端のSoTA(SoTA)と同等に実行し、それらをテキストでポーズするタスクで上回った。
  論文  参考訳（メタデータ） (2022-12-06T09:37:01Z)
• A Token-level Contrastive Framework for Sign Language Translation [9.185037439012952]
  手話翻訳は、聴覚障害者と聴覚障害者のコミュニケーションギャップを埋める有望な技術である。 トークンレベルの新しい ConSLT を提案する。 textbfSign textbfLanguage用のコントラスト学習フレームワーク。 textbf翻訳。
  論文  参考訳（メタデータ） (2022-04-11T07:33:26Z)
• SimulSLT: End-to-End Simultaneous Sign Language Translation [55.54237194555432]
  既存の手話翻訳手法では、翻訳を開始する前にすべてのビデオを読む必要がある。 我々は,最初のエンドツーエンド同時手話翻訳モデルであるSimulSLTを提案する。 SimulSLTは最新のエンドツーエンドの非同時手話翻訳モデルを超えるBLEUスコアを達成する。
  論文  参考訳（メタデータ） (2021-12-08T11:04:52Z)
• WeTS: A Benchmark for Translation Suggestion [32.10692757420455]
  我々はemphWeTSと呼ばれる翻訳提案(TS)のためのベンチマークデータセットを作成する。 また,TSの性能を大幅に向上できる合成コーパスを生成するための新しい手法を提案する。 我々のモデルは、ドイツ語、ドイツ語、中国語、英語、中国語の4つの翻訳方向について、ステートオフ・ザ・アート(SOTA)の結果を達成する。
  論文  参考訳（メタデータ） (2021-10-11T10:52:17Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Assessing Discourse Relations in Language Generation from GPT-2 [37.30382375828105]
  GPT-2は、左から右への言語モデリングの目的から、生成タスクに適している。 有機生成シナリオと微調整シナリオの両方において, GPT-2の出力における明示的談話関係の有効性について検討した。
  論文  参考訳（メタデータ） (2020-04-26T23:29:27Z)
• Text Perceptron: Towards End-to-End Arbitrary-Shaped Text Spotting [49.768327669098674]
  テキストパーセプトロン(Text Perceptron)という,エンドツーエンドのトレーニング可能なテキストスポッティング手法を提案する。 まず、テキスト読解順序と境界情報を学ぶ効率的なセグメンテーションベースのテキスト検出器を用いる。 次に、検出された特徴領域を正規形態に変換するために、新しい形状変換モジュール(STM)を設計する。
  論文  参考訳（メタデータ） (2020-02-17T08:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。