論文の概要: Changing the Mind of Transformers for Topically-Controllable Language
Generation
- arxiv url: http://arxiv.org/abs/2103.15335v1
- Date: Mon, 29 Mar 2021 05:02:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-31 04:09:39.611630
- Title: Changing the Mind of Transformers for Topically-Controllable Language
Generation
- Title(参考訳): トポロジカルな言語生成のためのトランスフォーマーの心を変える
- Authors: Haw-Shiuan Chang, Jiaming Yuan, Mohit Iyyer, Andrew McCallum
- Abstract要約: 我々は、ユーザが生成を導くサブセットを選択できる複数の候補となるトピックを表示するフレームワークを設計した。
本フレームワークは,(1)継続可能な単語クラスタの中央を予測して候補トピックのセットを生成する方法,(2)選択されたトピックに出力が従うテキスト生成モデル,の2つの構成要素からなる。
実験の結果,トピックの選択肢は標準的なクラスタリング手法よりも優れており,フレームワークは選択したトピックに関連する流動的な文を生成することが多いことがわかった。
- 参考スコア(独自算出の注目度): 48.370742117330764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Transformer-based language models can aid human authors by suggesting
plausible continuations of text written so far. However, current interactive
writing assistants do not allow authors to guide text generation in desired
topical directions. To address this limitation, we design a framework that
displays multiple candidate upcoming topics, of which a user can select a
subset to guide the generation. Our framework consists of two components: (1) a
method that produces a set of candidate topics by predicting the centers of
word clusters in the possible continuations, and (2) a text generation model
whose output adheres to the chosen topics. The training of both components is
self-supervised, using only unlabeled text. Our experiments demonstrate that
our topic options are better than those of standard clustering approaches, and
our framework often generates fluent sentences related to the chosen topics, as
judged by automated metrics and crowdsourced workers.
- Abstract(参考訳): 大規模なトランスフォーマーベースの言語モデルは、これまで書かれたテキストの妥当な継続を提案することで、人間の著者を助けることができる。
しかし、現在の対話型文字アシスタントは、著者が所望の話題順にテキスト生成をガイドすることができない。
この制限に対処するために、私たちは、ユーザが生成を導くサブセットを選択することができる複数の候補となるトピックを表示するフレームワークを設計します。
本フレームワークは,(1)継続可能な単語クラスタの中央を予測して候補トピックのセットを生成する方法,(2)選択されたトピックに出力が従うテキスト生成モデル,の2つの構成要素からなる。
両方のコンポーネントのトレーニングは、ラベルのないテキストのみを使用して、自己監督される。
私たちの実験は、私たちのトピックの選択肢が標準的なクラスタリングアプローチよりも優れていることを示し、自動化メトリクスやクラウドソースワーカーによって判断されるように、フレームワークが選択したトピックに関連するフルーレントな文を生成することが少なくありません。
関連論文リスト
- Instruct-SCTG: Guiding Sequential Controlled Text Generation through
Instructions [42.67608830386934]
Instruct-SCTGは、命令調整言語モデルを利用して構造的に一貫性のあるテキストを生成するシーケンシャルフレームワークである。
本フレームワークは,自然言語命令を用いて,所望の人体構造に整合して記事を生成する。
論文 参考訳(メタデータ) (2023-12-19T16:20:49Z) - Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。
対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。
また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T11:03:55Z) - Explicit Syntactic Guidance for Neural Text Generation [45.60838824233036]
生成文法は、人間が言語文法を学習することで自然言語のテキストを生成することを示唆している。
本稿では,トップダウン方向の選挙区解析木に案内されたシーケンスを生成する構文誘導型生成スキーマを提案する。
パラフレーズ生成と機械翻訳の実験により,提案手法が自己回帰ベースラインより優れていることが示された。
論文 参考訳(メタデータ) (2023-06-20T12:16:31Z) - The Whole Truth and Nothing But the Truth: Faithful and Controllable
Dialogue Response Generation with Dataflow Transduction and Constrained
Decoding [65.34601470417967]
本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。
本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
論文 参考訳(メタデータ) (2022-09-16T09:00:49Z) - Collocation2Text: Controllable Text Generation from Guide Phrases in
Russian [0.0]
Collocation2Textはロシア語で自動制御可能なテキスト生成のためのプラグイン・アンド・プレイ方式である。
この手法は、自己回帰言語ruGPT-3モデルと自己符号化言語ruRoBERTaモデルという2つの相互作用モデルに基づいている。
提案手法を用いてニュース記事を生成する実験は,自動生成された流布文に対して有効性を示した。
論文 参考訳(メタデータ) (2022-06-18T17:10:08Z) - Event Transition Planning for Open-ended Text Generation [55.729259805477376]
オープンエンドテキスト生成タスクは、事前コンテキストに制限されたコヒーレントな継続を生成するためにモデルを必要とする。
オープンエンドテキスト生成におけるイベントを明示的にアレンジする新しい2段階手法を提案する。
我々のアプローチは、特別に訓練された粗大なアルゴリズムとして理解することができる。
論文 参考訳(メタデータ) (2022-04-20T13:37:51Z) - ConRPG: Paraphrase Generation using Contexts as Regularizer [31.967883219986362]
パラフレーズ生成の長年の問題として、信頼できる監視信号を得る方法がある。
本稿では,同じ文脈で同じ意味を持つ2つの文を生成する確率が同じであるという仮定に基づいて,パラフレーズ生成のための教師なしパラダイムを提案する。
本稿では、文脈言語モデルに基づくパラフレーズ候補生成、スコアリング関数を用いた候補フィルタリング、選択した候補に基づくパラフレーズモデルトレーニングからなるパイプラインシステムを提案する。
論文 参考訳(メタデータ) (2021-09-01T12:57:30Z) - Automatic Document Sketching: Generating Drafts from Analogous Texts [44.626645471195495]
著者がレビューと修正を行うためのドラフト文書全体を生成する新しいタスクである文書スケッチを導入する。
これらのドラフトは、コンテンツのばらつきながら、形式的に重複するドキュメントのセット - 潜在的に再利用可能なテキストの大きなセグメントを共有する - から作成されます。
本研究は,変圧器を用いた専門家の混合と強化学習の併用を含む,弱教師付き手法の適用について検討する。
論文 参考訳(メタデータ) (2021-06-14T06:46:06Z) - StylePTB: A Compositional Benchmark for Fine-grained Controllable Text
Style Transfer [90.6768813620898]
スタイル転送は、ソース文定数からコアの意味を維持しながら、ターゲットのスタイル変更を伴うテキストを制御的に生成することを目的としています。
テキストの原子語彙,構文,セマンティック,セマンティックトランスファーにまたがる21のきめ細かなスタイリスティックな文を含む大規模ベンチマークであるStylePTBを導入する。
StylePTBの既存のメソッドは、細かい変更をモデル化するのに苦労し、複数のスタイルを構成するのにさらに困難です。
論文 参考訳(メタデータ) (2021-04-12T04:25:09Z) - Text Editing by Command [82.50904226312451]
ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。
この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。
このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
論文 参考訳(メタデータ) (2020-10-24T08:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。