論文の概要: SongNet: Rigid Formats Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2004.08022v2
• Date: Sat, 17 Apr 2021 03:49:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 10:15:27.505069
• Title: SongNet: Rigid Formats Controlled Text Generation
• Title（参考訳）: SongNet: Rigid Formatsコントロールされたテキスト生成
• Authors: Piji Li, Haisong Zhang, Xiaojiang Liu, Shuming Shi
• Abstract要約: この問題に対処するために,SongNetというシンプルでエレガントなフレームワークを提案する。 フレームワークのバックボーンは、Transformerベースの自動回帰言語モデルである。 事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。
• 参考スコア（独自算出の注目度）: 51.428634666559724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural text generation has made tremendous progress in various tasks. One common characteristic of most of the tasks is that the texts are not restricted to some rigid formats when generating. However, we may confront some special text paradigms such as Lyrics (assume the music score is given), Sonnet, SongCi (classical Chinese poetry of the Song dynasty), etc. The typical characteristics of these texts are in three folds: (1) They must comply fully with the rigid predefined formats. (2) They must obey some rhyming schemes. (3) Although they are restricted to some formats, the sentence integrity must be guaranteed. To the best of our knowledge, text generation based on the predefined rigid formats has not been well investigated. Therefore, we propose a simple and elegant framework named SongNet to tackle this problem. The backbone of the framework is a Transformer-based auto-regressive language model. Sets of symbols are tailor-designed to improve the modeling performance especially on format, rhyme, and sentence integrity. We improve the attention mechanism to impel the model to capture some future information on the format. A pre-training and fine-tuning framework is designed to further improve the generation quality. Extensive experiments conducted on two collected corpora demonstrate that our proposed framework generates significantly better results in terms of both automatic metrics and the human evaluation.
• Abstract（参考訳）: ニューラルテキスト生成は様々なタスクで大きく進歩した。 ほとんどのタスクの一般的な特徴は、テキストは生成時にいくつかの厳密なフォーマットに制限されないことである。 しかし、歌詞(楽譜が与えられる)、ソネット、宋詩など、特殊なテキストパラダイムに直面することもある。 これらのテキストの典型的特徴は3つに分かれている: (1) 厳密な事前定義された形式に完全に従わなければならない。 (2)いくつかの韻律に従わなければならない。 (3)いくつかの形式に制限されているが、文の完全性を保証する必要がある。 我々の知る限りでは、事前定義された固形書式に基づくテキスト生成は十分に研究されていない。 そこで本研究では,SongNetというシンプルでエレガントなフレームワークを提案する。 フレームワークのバックボーンは、トランスフォーマティブベースの自動回帰言語モデルである。 記号のセットは、特に形式、韻律、文の整合性においてモデリング性能を改善するために設計されている。 我々は、注意機構を改善し、モデルにフォーマットに関する将来の情報を取り込ませる。 事前学習および微調整のフレームワークは、生成品質をさらに向上するために設計されている。 2つの収集コーパスで実施した大規模な実験により,自動測定と人的評価の両面で,提案手法が有意に優れた結果をもたらすことが示された。

関連論文リスト

• MusiConGen: Rhythm and Chord Control for Transformer-Based Text-to-Music Generation [19.878013881045817]
  MusiConGenは、一時条件付きトランスフォーマーベースのテキスト-音楽モデルである。 条件信号として自動的に抽出されたリズムとコードを統合する。 MusiConGenは,特定の条件に整合したリアルなバックトラック音楽を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-21T05:27:53Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Instruct-SCTG: Guiding Sequential Controlled Text Generation through Instructions [42.67608830386934]
  Instruct-SCTGは、命令調整言語モデルを利用して構造的に一貫性のあるテキストを生成するシーケンシャルフレームワークである。 本フレームワークは,自然言語命令を用いて,所望の人体構造に整合して記事を生成する。
  論文  参考訳（メタデータ） (2023-12-19T16:20:49Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Bridging Music and Text with Crowdsourced Music Comments: A Sequence-to-Sequence Framework for Thematic Music Comments Generation [18.2750732408488]
  我々はクラウドソースの音楽コメントを利用して新しいデータセットを構築し,音楽のテキスト記述を生成するシーケンス・ツー・シーケンス・モデルを提案する。 生成したテキストの信頼性とテーマ性を高めるために,識別器と新しい話題評価器を提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:51:51Z)
• Attend, Memorize and Generate: Towards Faithful Table-to-Text Generation in Few Shots [58.404516361586325]
  Few-shot table-to-text generation は、限られたデータを用いてテーブル内容を伝えるために、流動的で忠実な文を構成するタスクである。 本稿では,人間のテキスト生成プロセスに触発された新しい手法,覚醒と生成(AMG)を提案する。
  論文  参考訳（メタデータ） (2022-03-01T20:37:20Z)
• Outline to Story: Fine-grained Controllable Story Generation from Cascaded Events [39.577220559911055]
  長文のきめ細かい制御が可能な生成のためのテストベッドとして,"Outline to Story" (O2S) という新しいタスクを提案する。 次に、最新のキーワード抽出技術で構築された将来のベンチマーク用のデータセットを作成します。
  論文  参考訳（メタデータ） (2021-01-04T08:16:21Z)
• Facts2Story: Controlling Text Generation by Key Facts [0.0]
  自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。 我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。 本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T10:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。