論文の概要: Style Locality for Controllable Generation with kNN Language Models

• arxiv url: http://arxiv.org/abs/2311.00475v1
• Date: Wed, 1 Nov 2023 12:21:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 13:41:42.695123
• Title: Style Locality for Controllable Generation with kNN Language Models
• Title（参考訳）: kNN言語モデルを用いた制御可能生成のためのスタイル局所性
• Authors: Gilles Nawezi, Lucie Flek, Charles Welch
• Abstract要約: 近隣の言語モデルは、単語予測を支援するために類似した文脈を検索する。 局所性レベルを追加することで、モデルは、ソース文書の現在のテキストとの相対的な位置に基づいて、隣人を重み付けする方法を学ぶことができる。 我々のモデルは、スタイルをうまく制御することができ、以前の作業よりも流布スタイルのトレードオフを提供することを示す。
• 参考スコア（独自算出の注目度）: 11.4179290793997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent language models have been improved by the addition of external memory. Nearest neighbor language models retrieve similar contexts to assist in word prediction. The addition of locality levels allows a model to learn how to weight neighbors based on their relative location to the current text in source documents, and have been shown to further improve model performance. Nearest neighbor models have been explored for controllable generation but have not examined the use of locality levels. We present a novel approach for this purpose and evaluate it using automatic and human evaluation on politeness, formality, supportiveness, and toxicity textual data. We find that our model is successfully able to control style and provides a better fluency-style trade-off than previous work.
• Abstract（参考訳）: 最近の言語モデルは外部メモリの追加によって改善されている。 隣接言語モデルは、単語予測を支援するために類似した文脈を検索する。 局所性レベルの追加により、モデルは、ソースドキュメント内の現在のテキストと相対的な位置に基づいて隣人を重み付けする方法を学習することができ、モデルパフォーマンスをさらに改善することが示されている。 直近のモデルでは制御可能な生成が検討されているが、局所性レベルの使用については検討されていない。 本研究の目的は, 丁寧さ, 形式性, 支持性, 毒性のテクストデータを自動的に評価し, 評価することにある。 我々のモデルは、スタイルをうまく制御することができ、以前の作業よりも流布スタイルのトレードオフを提供する。

関連論文リスト

• A Probability--Quality Trade-off in Aligned Language Models and its Relation to Sampling Adaptors [50.046717886067555]
  一致した言語モデルからコーパスをサンプリングする場合,文字列の平均報酬と平均ログ類似度との間にはトレードオフが存在することを示す。 我々は、この現象を形式的に処理し、サンプリングアダプタの選択が、どれだけの確率で報酬を交換できるかを選択できるかを実証する。
  論文  参考訳（メタデータ） (2024-06-14T17:38:21Z)
• More Room for Language: Investigating the Effect of Retrieval on Language Models [3.8574940917179164]
  本稿では、これらのモデルを完全に制御可能な環境で研究するための「理想的検索」手法を提案する。 本研究では,検索の強化が言語モデルの動作に与える影響を評価するための評価を行う。
  論文  参考訳（メタデータ） (2024-04-16T22:43:48Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models [11.439430077017635]
  事前学習された音声モデルは,下位層における言語識別情報を最適に符号化する。 これらの層から得られる埋め込みは、目に見えない言語を分類するのに非常に堅牢であることを示す。 NVIDIA NeMoツールキットを通じてモデルをオープンソースにしています。
  論文  参考訳（メタデータ） (2022-11-09T18:53:59Z)
• Nearest Neighbor Language Models for Stylistic Controllable Generation [8.458066281308005]
  最近の言語モデリング性能は外部メモリによって大幅に改善されている。 このメモリは、コンテクストをエンコードし、デコード中に同様のコンテクストをリコールする。 我々は、丁寧さ、形式性、毒性に注釈を付けたコーパスを用いて、この目的のために建築を構築し、評価する。
  論文  参考訳（メタデータ） (2022-10-27T20:46:12Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Reconsidering the Past: Optimizing Hidden States in Language Models [35.7524942657169]
  本稿では,変圧器言語モデルの性能向上のための勾配に基づくHSOを提案する。 HSOは、言語モデルが評価テキストに割り当てるログ確率の勾配を計算するが、モデルパラメータではなくキャッシュされた隠れ状態の更新に使用する。
  論文  参考訳（メタデータ） (2021-12-16T06:14:37Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。