論文の概要: Neural Text Generation with Part-of-Speech Guided Softmax

• arxiv url: http://arxiv.org/abs/2105.03641v1
• Date: Sat, 8 May 2021 08:53:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 15:21:54.779409
• Title: Neural Text Generation with Part-of-Speech Guided Softmax
• Title（参考訳）: 音声ガイドソフトマックスを用いたニューラルテキスト生成
• Authors: Zhixian Yang, Xiaojun Wan
• Abstract要約: テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。 提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
• 参考スコア（独自算出の注目度）: 82.63394952538292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text generation models are likely to suffer from the low-diversity problem. Various decoding strategies and training-based methods have been proposed to promote diversity only by exploiting contextual features, but rarely do they consider incorporating syntactic structure clues. In this work, we propose using linguistic annotation, i.e., part-of-speech (POS), to guide the text generation. In detail, we introduce POS Guided Softmax (POSG-Softmax) to explicitly model two posterior probabilities: (i) next-POS, and (ii) next-token from the vocabulary of the target POS. A POS guided sampling strategy is further proposed to address the low-diversity problem by enriching the diversity of POS. Extensive experiments and human evaluations demonstrate that, compared with existing state-of-the-art methods, our proposed methods can generate more diverse text while maintaining comparable quality.
• Abstract（参考訳）: ニューラルテキスト生成モデルは、低多様性の問題に苦しむ可能性が高い。 様々な復号戦略や訓練に基づく手法が提案されており、文脈的特徴を利用するだけで多様性を促進することができる。 そこで本研究では,テキスト生成の指導に言語アノテーション,すなわちPOS(Part-of-speech)を用いることを提案する。 本報告では,POSガイドソフトマックス (POSG-Softmax) を用いて, (i) next-POS と (ii) next-token の2つの後方確率をモデル化する。 POSの多様性を豊かにすることで、低多様性問題に対処するPOSガイドサンプリング戦略が提案されている。 提案手法は,既存の最先端手法と比較して,同等の品質を維持しつつ,より多様なテキストを生成することができることを示す。

関連論文リスト

• Beyond Coarse-Grained Matching in Video-Text Retrieval [50.799697216533914]
  きめ細かい評価のための新しいアプローチを導入する。 テストキャプションを自動的に生成することで,既存のデータセットにアプローチを適用することができる。 きめ細かい評価実験は、このアプローチがきめ細かな違いを理解するモデルの能力を高めることを実証している。
  論文  参考訳（メタデータ） (2024-10-16T09:42:29Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Beat: Bi-directional One-to-Many Embedding Alignment for Text-based Person Retrieval [66.61856014573742]
  テキストベースの人物検索(TPR)は、テキスト記述に基づいて特定の個人を検索する難題である。 これまでは、テキストと画像のサンプルをモーダルシェード空間で整列させようと試みてきた。 本稿では,各サンプルに対して明確な最適化方向を提供する,効果的な双方向一対多埋め込みパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-06-09T03:06:55Z)
• ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
  ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
  論文  参考訳（メタデータ） (2024-02-17T02:25:57Z)
• Detecting Textual Adversarial Examples Based on Distributional Characteristics of Data Representations [11.93653349589025]
  逆の例は、正しく分類された入力に小さな非ランダムな摂動を加えることで構成される。 自然言語タスクにおける敵対的攻撃へのアプローチは、文字レベル、単語レベル、フレーズレベルの摂動を用いて、過去5年間にブームとなった。 我々はこのギャップを埋めるために,NLPのための2つの新しいリアクティブ手法を提案する。 適応 LID と MDRE は、IMDB データセットに対する文字レベル、単語レベル、フレーズレベルの攻撃に対して、最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-04-29T02:32:02Z)
• A Contrastive Framework for Neural Text Generation [46.845997620234265]
  モデル変性の根底にある理由はトークン表現の異方性分布であることを示す。 モデル表現空間を校正するための対照的な学習目標であるSimCTGと,生成したテキストのコヒーレンスを維持しつつ多様性を高めるためのデコード手法であるコントラスト検索を提案する。
  論文  参考訳（メタデータ） (2022-02-13T21:46:14Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。