論文の概要: Collocation2Text: Controllable Text Generation from Guide Phrases in
Russian
- arxiv url: http://arxiv.org/abs/2206.09248v1
- Date: Sat, 18 Jun 2022 17:10:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 15:51:10.816184
- Title: Collocation2Text: Controllable Text Generation from Guide Phrases in
Russian
- Title（参考訳）: Collocation2Text:ロシア語のガイドフレーズから制御可能なテキスト生成
- Authors: Sergey Vychegzhanin, Evgeny Kotelnikov
- Abstract要約: Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。
この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。
提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large pre-trained language models are capable of generating varied and fluent
texts. Starting from the prompt, these models generate a narrative that can
develop unpredictably. The existing methods of controllable text generation,
which guide the narrative in the text in the user-specified direction, require
creating a training corpus and an additional time-consuming training procedure.
The paper proposes and investigates Collocation2Text, a plug-and-play method
for automatic controllable text generation in Russian, which does not require
fine-tuning. The method is based on two interacting models: the autoregressive
language ruGPT-3 model and the autoencoding language ruRoBERTa model. The idea
of the method is to shift the output distribution of the autoregressive model
according to the output distribution of the autoencoding model in order to
ensure a coherent transition of the narrative in the text towards the guide
phrase, which can contain single words or collocations. The autoencoding model,
which is able to take into account the left and right contexts of the token,
"tells" the autoregressive model which tokens are the most and least logical at
the current generation step, increasing or decreasing the probabilities of the
corresponding tokens. The experiments on generating news articles using the
proposed method showed its effectiveness for automatically generated fluent
texts which contain coherent transitions between user-specified phrases.
- Abstract（参考訳）: 大規模な事前学習された言語モデルは、多種多様なテキストを生成することができる。
プロンプトから、これらのモデルは予測不可能に発展できる物語を生成する。
既存の制御可能なテキスト生成手法では,テキスト中の物語をユーザが指定した方向に導くためには,トレーニングコーパスの作成と追加の時間を要する。
本稿では,ロシアで自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である collocation2text を提案し,検討する。
この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。
この方法のアイデアは、テキスト中の物語のコヒーレントな遷移を保証するために、自動エンコーディングモデルの出力分布に従って自己回帰モデルの出力分布をシフトさせることであり、単一の単語やコロケーションを含むことができる。
トークンの左右コンテキストを考慮に入れた自己エンコーディングモデルでは、トークンが現在の生成ステップにおいて最も論理的かつ最も論理的な自己回帰モデルを「スター」し、対応するトークンの確率を増大または減少させる。
提案手法を用いてニュース記事を生成する実験は,ユーザ指定句間のコヒーレントな遷移を含む流布文の自動生成の有効性を示した。
関連論文リスト
- Pre-trained Language Models Do Not Help Auto-regressive Text-to-Image Generation [82.5217996570387]
我々は,自動回帰テキスト・画像生成のための事前学習言語モデルを適用した。
事前訓練された言語モデルは限られた助けを提供する。
論文 参考訳（メタデータ） (2023-11-27T07:19:26Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳（メタデータ） (2023-05-31T16:47:20Z) - The Whole Truth and Nothing But the Truth: Faithful and Controllable
Dialogue Response Generation with Dataflow Transduction and Constrained
Decoding [65.34601470417967]
本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。
本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
論文 参考訳（メタデータ） (2022-09-16T09:00:49Z) - A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。
このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
論文 参考訳（メタデータ） (2021-09-20T17:27:03Z) - Inference Time Style Control for Summarization [6.017006996402699]
本稿では,事前学習されたトランスフォーマライズモデル上で,サマリデコード中にデプロイ可能な2つの新しい手法を提案する。
単純さ制御による要約実験では、自動評価と人間の判断が共に、よりシンプルな言語で出力を生成するモデルを見つけました。
論文 参考訳（メタデータ） (2021-04-05T00:27:18Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳（メタデータ） (2020-12-28T06:48:04Z) - Facts2Story: Controlling Text Generation by Key Facts [0.0]
自然言語で表現された一連の事実を、より長い物語に展開し、制御された生成タスクを提案する。
我々は、GPT2のような自動回帰型一方向言語モデルは、より良い流動性を生み出すが、彼らは要求された事実に従うのに苦労することを示した。
本稿では,要求されるコンテンツに固執しながら,競争的フラッテンシーを生み出すプラン・アンド・クローズモデル(微調整xlnet)を提案する。
論文 参考訳（メタデータ） (2020-12-08T10:14:29Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。
提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文 参考訳（メタデータ） (2020-10-12T17:02:50Z) - Syntax-driven Iterative Expansion Language Models for Controllable Text
Generation [2.578242050187029]
本稿では,ニューラルテキスト生成に構文的帰納バイアスを導入するための新しいパラダイムを提案する。
実験の結果,このパラダイムはテキスト生成に有効であり,LSTMとトランスフォーマーの質と同等の多様性を持つことがわかった。
論文 参考訳（メタデータ） (2020-04-05T14:29:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。