論文の概要: Nearest Neighbor Language Models for Stylistic Controllable Generation

• arxiv url: http://arxiv.org/abs/2210.15762v1
• Date: Thu, 27 Oct 2022 20:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 15:57:17.828334
• Title: Nearest Neighbor Language Models for Stylistic Controllable Generation
• Title（参考訳）: スティリスティック制御可能生成のための最近傍言語モデル
• Authors: Severino Trotta and Lucie Flek and Charles Welch
• Abstract要約: 最近の言語モデリング性能は外部メモリによって大幅に改善されている。 このメモリは、コンテクストをエンコードし、デコード中に同様のコンテクストをリコールする。 我々は、丁寧さ、形式性、毒性に注釈を付けたコーパスを用いて、この目的のために建築を構築し、評価する。
• 参考スコア（独自算出の注目度）: 8.458066281308005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent language modeling performance has been greatly improved by the use of external memory. This memory encodes the context so that similar contexts can be recalled during decoding. This similarity depends on how the model learns to encode context, which can be altered to include other attributes, such as style. We construct and evaluate an architecture for this purpose, using corpora annotated for politeness, formality, and toxicity. Through extensive experiments and human evaluation we demonstrate the potential of our method to generate text while controlling style. We find that style-specific datastores improve generation performance, though results vary greatly across styles, and the effect of pretraining data and specific styles should be explored in future work.
• Abstract（参考訳）: 最近の言語モデリング性能は外部メモリによって大幅に改善されている。 このメモリは、同様のコンテキストをデコード中にリコールできるように、コンテキストをエンコードする。 この類似性は、モデルがどのようにコンテキストをエンコードするかによって異なり、スタイルのような他の属性を含むように変更することができる。 我々は, 丁寧さ, 形式性, 毒性に注釈を付したコーパスを用いて, この目的のためにアーキテクチャを構築し, 評価する。 広範な実験と人的評価を通じて,スタイルを制御しながらテキストを生成する手法の可能性を示す。 スタイル固有のデータストアは生成性能を向上するが、結果はスタイルによって大きく異なり、事前学習データや特定のスタイルの影響は今後の研究で検討されるべきである。

関連論文リスト

• Measuring Style Similarity in Diffusion Models [118.22433042873136]
  画像からスタイル記述子を理解し抽出するためのフレームワークを提案する。 我々のフレームワークは、スタイルが画像の主観的特性であるという洞察を用いてキュレートされた新しいデータセットで構成されている。 また、テキスト・ツー・イメージ・モデルのトレーニングデータセットで使用される画像に対して、生成した画像のスタイルに使用できるスタイル属性記述子を抽出する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:58:30Z)
• Personalized Text Generation with Fine-Grained Linguistic Control [9.668216418094316]
  複数の言語的次元にまたがる微粒な属性の制御に焦点をあてる。 生成モデルを訓練するための新しいベンチマークを導入し、パーソナライズされたテキストを生成する能力を評価する。
  論文  参考訳（メタデータ） (2024-02-07T14:41:08Z)
• TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering [118.30923824681642]
  TextDiffuser-2は、テキストレンダリングのための言語モデルのパワーを解き放つことを目的としている。 拡散モデル内の言語モデルを用いて,行レベルでの位置とテキストを符号化する。 我々は広範な実験を行い、GPT-4Vと同様に、ヒトの参加者を含むユーザスタディを取り入れた。
  論文  参考訳（メタデータ） (2023-11-28T04:02:40Z)
• Style Locality for Controllable Generation with kNN Language Models [11.4179290793997]
  近隣の言語モデルは、単語予測を支援するために類似した文脈を検索する。 局所性レベルを追加することで、モデルは、ソース文書の現在のテキストとの相対的な位置に基づいて、隣人を重み付けする方法を学ぶことができる。 我々のモデルは、スタイルをうまく制御することができ、以前の作業よりも流布スタイルのトレードオフを提供することを示す。
  論文  参考訳（メタデータ） (2023-11-01T12:21:53Z)
• Prefix-Tuning Based Unsupervised Text Style Transfer [29.86587278794342]
  教師なしテキストスタイル転送は、その内容を保持しながら入力文のスタイルを変更することができる生成モデルを訓練することを目的としている。 本稿では,事前学習された強力な大規模言語モデルを用いて,教師なしテキストスタイル転送のためのプレフィックス・チューニング方式を提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:13:08Z)
• BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
  検索ベースの言語モデルは、質問応答タスクにますます採用されている。 我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。 本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-04-19T13:40:47Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters [66.17039929803933]
  応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
  論文  参考訳（メタデータ） (2022-10-07T00:09:22Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Prototype-to-Style: Dialogue Generation with Style-Aware Editing on Retrieval Memory [65.98002918470543]
  文体対話生成の課題に対処する新しいプロトタイプ・ツー・スタイルのフレームワークを提案する。 このフレームワークは、IR(Information Retrieval)システムを使用して、検索した応答から応答プロトタイプを抽出する。 スタイリスティック応答生成器は、プロトタイプと所望の言語スタイルをモデル入力として、高品質でスタイリスティックな応答を得る。
  論文  参考訳（メタデータ） (2020-04-05T14:36:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。