論文の概要: Neural Text Generation with Part-of-Speech Guided Softmax
- arxiv url: http://arxiv.org/abs/2105.03641v1
- Date: Sat, 8 May 2021 08:53:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 15:21:54.779409
- Title: Neural Text Generation with Part-of-Speech Guided Softmax
- Title(参考訳): 音声ガイドソフトマックスを用いたニューラルテキスト生成
- Authors: Zhixian Yang, Xiaojun Wan
- Abstract要約: テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。
提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
- 参考スコア(独自算出の注目度): 82.63394952538292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural text generation models are likely to suffer from the low-diversity
problem. Various decoding strategies and training-based methods have been
proposed to promote diversity only by exploiting contextual features, but
rarely do they consider incorporating syntactic structure clues. In this work,
we propose using linguistic annotation, i.e., part-of-speech (POS), to guide
the text generation. In detail, we introduce POS Guided Softmax (POSG-Softmax)
to explicitly model two posterior probabilities: (i) next-POS, and (ii)
next-token from the vocabulary of the target POS. A POS guided sampling
strategy is further proposed to address the low-diversity problem by enriching
the diversity of POS. Extensive experiments and human evaluations demonstrate
that, compared with existing state-of-the-art methods, our proposed methods can
generate more diverse text while maintaining comparable quality.
- Abstract(参考訳): ニューラルテキスト生成モデルは、低多様性の問題に苦しむ可能性が高い。
様々な復号戦略や訓練に基づく手法が提案されており、文脈的特徴を利用するだけで多様性を促進することができる。
そこで本研究では,テキスト生成の指導に言語アノテーション,すなわちPOS(Part-of-speech)を用いることを提案する。
本報告では,POSガイドソフトマックス (POSG-Softmax) を用いて, (i) next-POS と (ii) next-token の2つの後方確率をモデル化する。
POSの多様性を豊かにすることで、低多様性問題に対処するPOSガイドサンプリング戦略が提案されている。
提案手法は,既存の最先端手法と比較して,同等の品質を維持しつつ,より多様なテキストを生成することができることを示す。
関連論文リスト
- Language Model Decoding as Direct Metrics Optimization [95.78717767103458]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳(メタデータ) (2023-10-02T09:35:27Z) - DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of
GPT-Generated Text [82.5469544192645]
ダイバージェントN-Gram解析(DNA-GPT)と呼ばれる新しいトレーニング不要検出手法を提案する。
元の部分と新しい部分の違いをN-gram解析により解析することにより,機械生成テキストと人文テキストの分布に顕著な相違が明らかになった。
その結果, ゼロショットアプローチは, 人文とGPT生成テキストの区別において, 最先端の性能を示すことがわかった。
論文 参考訳(メタデータ) (2023-05-27T03:58:29Z) - Detecting Textual Adversarial Examples Based on Distributional
Characteristics of Data Representations [11.93653349589025]
逆の例は、正しく分類された入力に小さな非ランダムな摂動を加えることで構成される。
自然言語タスクにおける敵対的攻撃へのアプローチは、文字レベル、単語レベル、フレーズレベルの摂動を用いて、過去5年間にブームとなった。
我々はこのギャップを埋めるために,NLPのための2つの新しいリアクティブ手法を提案する。
適応 LID と MDRE は、IMDB データセットに対する文字レベル、単語レベル、フレーズレベルの攻撃に対して、最先端の結果を得る。
論文 参考訳(メタデータ) (2022-04-29T02:32:02Z) - A Contrastive Framework for Neural Text Generation [46.845997620234265]
モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。
モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
論文 参考訳(メタデータ) (2022-02-13T21:46:14Z) - To Augment or Not to Augment? A Comparative Study on Text Augmentation
Techniques for Low-Resource NLP [0.0]
本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。
音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。
以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
論文 参考訳(メタデータ) (2021-11-18T10:52:48Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳(メタデータ) (2021-10-04T03:59:15Z) - Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。
最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
論文 参考訳(メタデータ) (2020-12-22T10:53:07Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳(メタデータ) (2020-10-06T15:21:08Z) - Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。
具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
論文 参考訳(メタデータ) (2020-04-29T17:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。