論文の概要: GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation

• arxiv url: http://arxiv.org/abs/2211.10330v1
• Date: Fri, 18 Nov 2022 16:39:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 14:53:07.650451
• Title: GENIUS: Sketch-based Language Model Pre-training via Extreme and Selective Masking for Text Generation and Augmentation
• Title（参考訳）: genIUS: テキスト生成と拡張のためのエクストリームおよび選択マスキングによるスケッチベース言語モデル事前学習
• Authors: Biyang Guo, Yeyun Gong, Yelong Shen, Songqiao Han, Hailiang Huang, Nan Duan, Weizhu Chen
• Abstract要約: 本稿では,スケッチを入力として用いた条件付きテキスト生成モデルGENIUSを紹介する。 genIUSは、スケッチの目的から新しく再構築された大規模なテキストコーパスで事前訓練されている。 様々な自然言語処理(NLP)タスクに対して, GENIUS は強力かつ使いやすいデータ拡張ツールとして利用できることを示す。
• 参考スコア（独自算出の注目度）: 76.7772833556714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce GENIUS: a conditional text generation model using sketches as input, which can fill in the missing contexts for a given sketch (key information consisting of textual spans, phrases, or words, concatenated by mask tokens). GENIUS is pre-trained on a large-scale textual corpus with a novel reconstruction from sketch objective using an extreme and selective masking strategy, enabling it to generate diverse and high-quality texts given sketches. Comparison with other competitive conditional language models (CLMs) reveals the superiority of GENIUS's text generation quality. We further show that GENIUS can be used as a strong and ready-to-use data augmentation tool for various natural language processing (NLP) tasks. Most existing textual data augmentation methods are either too conservative, by making small changes to the original text, or too aggressive, by creating entirely new samples. With GENIUS, we propose GeniusAug, which first extracts the target-aware sketches from the original training set and then generates new samples based on the sketches. Empirical experiments on 6 text classification datasets show that GeniusAug significantly improves the models' performance in both in-distribution (ID) and out-of-distribution (OOD) settings. We also demonstrate the effectiveness of GeniusAug on named entity recognition (NER) and machine reading comprehension (MRC) tasks. (Code and models are publicly available at https://github.com/microsoft/SCGLab and https://github.com/beyondguo/genius)
• Abstract（参考訳）: 入力としてスケッチを用いる条件付きテキスト生成モデルであるgeniusを紹介し、与えられたスケッチ(テキストのスパン、フレーズ、あるいは単語からなるキー情報で、マスクトークンで連結される)の欠落したコンテキストを埋めることができる。 GenIUSは、極端に選択的なマスキング戦略を用いてスケッチ対象から新規に再構成された大規模なテキストコーパスで事前訓練され、スケッチに与えられた多彩で高品質なテキストを生成することができる。 他の競争条件付き言語モデル(CLM)と比較すると、GENIUSのテキスト生成品質が優れていることが分かる。 さらに、さまざまな自然言語処理(NLP)タスクに対して、GENIUSは強力で使いやすいデータ拡張ツールとして使用できることを示す。 既存のテキストデータ拡張手法の多くは、オリジナルのテキストに小さな変更を加えるか、全く新しいサンプルを作成することで攻撃的すぎるか、保守的すぎる。 我々はGeniusAugを提案する。GeniusAugは最初のトレーニングセットからターゲット認識スケッチを抽出し、スケッチに基づいて新しいサンプルを生成する。 6つのテキスト分類データセットの実証実験により、GeniusAugは、分布内(ID)と分布外(OOD)の両方でモデルの性能を著しく改善することが示された。 また,名前付きエンティティ認識(ner)とmrc(machine reading comprehension)タスクにおけるgeniusaugの有効性を示す。 (コードとモデルはhttps://github.com/microsoft/SCGLab and https://github.com/beyondguo/genius)

関連論文リスト

• Intelligent Grimm -- Open-ended Visual Storytelling via Latent Diffusion Models [70.86603627188519]
  我々は,オープンエンドなビジュアルストーリーテリングとして表現された,与えられたストーリーラインに基づいてコヒーレントな画像列を生成するという,斬新で挑戦的な課題に焦点をあてる。 本稿では,新しい視覚言語コンテキストモジュールを用いた学習に基づく自動回帰画像生成モデル(StoryGen)を提案する。 StoryGenは最適化なしに文字を一般化することができ、一貫性のあるコンテンツと一貫した文字で画像列を生成する。
  論文  参考訳（メタデータ） (2023-06-01T17:58:50Z)
• Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment [81.73717488887938]
  Language-Quantized AutoEncoder (LQAE)は、事前訓練された言語モデルを利用して、教師なしの方法でテキストイメージデータを整列することを学ぶ。 LQAEは類似した画像を類似したテキストトークンのクラスタで表現することを学び、一致したテキストイメージペアを使わずにこれら2つのモダリティを整列させる。 これにより、大きな言語モデル(例えばGPT-3)による少数ショット画像の分類や、BERTテキストの特徴に基づく画像の線形分類が可能になる。
  論文  参考訳（メタデータ） (2023-02-02T06:38:44Z)
• On Advances in Text Generation from Images Beyond Captioning: A Case Study in Self-Rationalization [89.94078728495423]
  近年のモダリティ,CLIP画像表現,言語モデルの拡張は,マルチモーダル入力によるタスクのマルチモーダル自己調整を一貫して改善していないことを示す。 画像キャプションを超えて画像やテキストからテキストを生成するために構築可能なバックボーンモデリング手法が提案されている。
  論文  参考訳（メタデータ） (2022-05-24T00:52:40Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• Offline Handwritten Chinese Text Recognition with Convolutional Neural Networks [5.984124397831814]
  本稿では,畳み込みニューラルネットワークのみを用いてモデルを構築し,CTCを損失関数として利用する。 ICDAR 2013のコンペでは6.81%の文字誤り率(CER)を達成した。
  論文  参考訳（メタデータ） (2020-06-28T14:34:38Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)
• ScrabbleGAN: Semi-Supervised Varying Length Handwritten Text Generation [0.9542023122304099]
  ScrabbleGANは手書きテキストイメージを半教師付きで合成する手法である。 ScrabbleGANは任意の長さの単語の画像を生成する新しい生成モデルに依存している。
  論文  参考訳（メタデータ） (2020-03-23T21:41:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。