論文の概要: Incorporating Stylistic Lexical Preferences in Generative Language
Models
- arxiv url: http://arxiv.org/abs/2010.11553v1
- Date: Thu, 22 Oct 2020 09:24:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 06:32:23.087770
- Title: Incorporating Stylistic Lexical Preferences in Generative Language
Models
- Title(参考訳): 生成言語モデルにおけるスタイリスティックな語彙選好
- Authors: Hrituraj Singh, Gaurav Verma, Balaji Vasan Srinivasan
- Abstract要約: 本稿では,著者の連続的な多次元語彙的嗜好を生成言語モデルに組み込むことにより,特定の著者属性を誘導する手法を提案する。
実験により,提案手法は,対象とする著者の語彙的スタイルと顕著に一致したテキストを生成することができることを示した。
- 参考スコア(独自算出の注目度): 10.62343151429147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent advances in language modeling have resulted in powerful
generation models, their generation style remains implicitly dependent on the
training data and can not emulate a specific target style. Leveraging the
generative capabilities of a transformer-based language models, we present an
approach to induce certain target-author attributes by incorporating continuous
multi-dimensional lexical preferences of an author into generative language
models. We introduce rewarding strategies in a reinforcement learning framework
that encourages the use of words across multiple categorical dimensions, to
varying extents. Our experiments demonstrate that the proposed approach can
generate text that distinctively aligns with a given target author's lexical
style. We conduct quantitative and qualitative comparisons with competitive and
relevant baselines to illustrate the benefits of the proposed approach.
- Abstract(参考訳): 言語モデリングの最近の進歩は強力な生成モデルを生み出しているが、その生成スタイルはトレーニングデータに暗黙的に依存し、特定のターゲットスタイルをエミュレートすることはできない。
本稿では,トランスフォーマティブ言語モデルの生成能力を活用して,著者の連続的多次元語彙選好を生成言語モデルに組み込むことにより,特定の目標著者属性を誘導する手法を提案する。
我々は,複数のカテゴリーにまたがる単語の使用を,様々な範囲で促進する強化学習フレームワークに報酬戦略を導入する。
実験により,提案手法は,対象とする著者の語彙スタイルと顕著に一致したテキストを生成することができることを示した。
提案手法の利点を説明するために, 競合的, 関連するベースラインと定量的, 質的な比較を行う。
関連論文リスト
- Personalized Text Generation with Fine-Grained Linguistic Control [9.668216418094316]
複数の言語的次元にまたがる微粒な属性の制御に焦点をあてる。
生成モデルを訓練するための新しいベンチマークを導入し、パーソナライズされたテキストを生成する能力を評価する。
論文 参考訳(メタデータ) (2024-02-07T14:41:08Z) - Learning to Generate Text in Arbitrary Writing Styles [6.7308816341849695]
言語モデルは、潜在的に小さな文章サンプルに基づいて、著者固有のスタイルでテキストを作成することが望ましい。
本稿では,テクスチャ的特徴を捉えた対照的に訓練された表現を用いて,ターゲットスタイルのテキストを生成するための言語モデルを提案する。
論文 参考訳(メタデータ) (2023-12-28T18:58:52Z) - PatternGPT :A Pattern-Driven Framework for Large Language Model Text
Generation [1.7259824817932292]
本稿では,大規模言語モデルのためのパターン駆動型テキスト生成フレームワークであるPatternGPTを提案する。
このフレームワークは、大規模言語モデルの抽出機能を利用して、リッチで多様な構造化および形式化されたパターンを生成する。
判断基準や最適化アルゴリズムなどの外部知識は、高品質なパターンの探索に使用される。
論文 参考訳(メタデータ) (2023-07-02T04:32:41Z) - Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。
各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
論文 参考訳(メタデータ) (2023-06-02T17:59:09Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - Attribute Alignment: Controlling Text Generation from Pre-trained
Language Models [46.19190007510232]
本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。
属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
論文 参考訳(メタデータ) (2021-03-20T01:51:32Z) - GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained
Text Style Transfer [119.70961704127157]
近年,非並列テキストスタイルの転送が研究の関心を集めている。
現在のアプローチでは、元の文の内容やロジックを保存できない。
文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
論文 参考訳(メタデータ) (2021-02-01T11:08:45Z) - Knowledge-Grounded Dialogue Generation with Pre-trained Language Models [74.09352261943911]
我々は、事前学習された言語モデルを用いた知識基底対話生成について研究する。
本稿では,知識選択モジュールを用いた事前学習言語モデルによって定義された等価応答生成を提案する。
論文 参考訳(メタデータ) (2020-10-17T16:49:43Z) - StyleDGPT: Stylized Response Generation with Pre-trained Language Models [39.526613595499356]
KL損失とスタイル分類器を導入し、単語レベルと文レベルの両方において、ターゲットスタイルに対して応答生成を操る。
我々のモデルは、スタイル整合性とコンテキスト整合性の両方の観点から、最先端の手法を著しく上回ります。
論文 参考訳(メタデータ) (2020-10-06T09:29:50Z) - Improving Adversarial Text Generation by Modeling the Distant Future [155.83051741029732]
テキスト計画手法を考察し、上記の問題を緩和するためのモデルに基づく模倣学習手法を提案する。
本稿では,より長い地平線上の生成過程に焦点をあてる新しいガイドネットワークを提案する。
論文 参考訳(メタデータ) (2020-05-04T05:45:13Z) - Prototype-to-Style: Dialogue Generation with Style-Aware Editing on
Retrieval Memory [65.98002918470543]
文体対話生成の課題に対処する新しいプロトタイプ・ツー・スタイルのフレームワークを提案する。
このフレームワークは、IR(Information Retrieval)システムを使用して、検索した応答から応答プロトタイプを抽出する。
スタイリスティック応答生成器は、プロトタイプと所望の言語スタイルをモデル入力として、高品質でスタイリスティックな応答を得る。
論文 参考訳(メタデータ) (2020-04-05T14:36:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。