論文の概要: Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio

• arxiv url: http://arxiv.org/abs/2306.15926v1
• Date: Wed, 28 Jun 2023 05:10:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 15:46:57.697701
• Title: Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio
• Title（参考訳）: ほとんどの言語モデルも詩人になれる:AIライティングアシスタントと制約付きテキスト生成スタジオ
• Authors: Allen Roush, Sanjay Basu, Akshay Moorthy, Dmitry Dubovoy
• Abstract要約: ほとんどの言語モデルは、大きな制約の下でも魅力的なテキストを生成する。 本稿では,言語モデルの語彙にフィルタ関数を合成することにより,言語モデルの出力を変更する手法を提案する。 また,この技術であるGadsbyを紹介するHuggingfaceスペースWebアプリケーションについても紹介する。
• 参考スコア（独自算出の注目度）: 0.5097809301149341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite rapid advancement in the field of Constrained Natural Language Generation, little time has been spent on exploring the potential of language models which have had their vocabularies lexically, semantically, and/or phonetically constrained. We find that most language models generate compelling text even under significant constraints. We present a simple and universally applicable technique for modifying the output of a language model by compositionally applying filter functions to the language models vocabulary before a unit of text is generated. This approach is plug-and-play and requires no modification to the model. To showcase the value of this technique, we present an easy to use AI writing assistant called Constrained Text Generation Studio (CTGS). CTGS allows users to generate or choose from text with any combination of a wide variety of constraints, such as banning a particular letter, forcing the generated words to have a certain number of syllables, and/or forcing the words to be partial anagrams of another word. We introduce a novel dataset of prose that omits the letter e. We show that our method results in strictly superior performance compared to fine-tuning alone on this dataset. We also present a Huggingface space web-app presenting this technique called Gadsby. The code is available to the public here: https://github.com/Hellisotherpeople/Constrained-Text-Generation-Studio
• Abstract（参考訳）: 制約された自然言語生成の分野で急速に進歩したにもかかわらず、語彙が語彙的に、意味的に、あるいは音声的に制約された言語モデルの可能性を探る時間はほとんどない。 ほとんどの言語モデルは、大きな制約の下でも魅力的なテキストを生成する。 本稿では,テキスト単位を生成する前に,言語モデル語彙にフィルタ関数を合成適用することにより,言語モデルの出力をシンプルかつ普遍的に変更する手法を提案する。 このアプローチはプラグアンドプレイであり、モデルを変更する必要はない。 本手法の価値を示すために,CTGS(Constrained Text Generation Studio)と呼ばれるAI記述アシスタントを提案する。 CTGSは、特定の文字を禁止したり、生成された単語に一定の数の音節を持つように強制したり、単語を他の単語の部分的なアナグラムに強制したりといった、幅広い制約の組み合わせでテキストを生成または選択することができる。 文字eを省略する新しい散文データセットを導入する。 本手法は,本データセットの微調整のみと比較して,厳格に優れた性能を示す。 また,Gadsbyという技術を用いたHuggingfaceのWebアプリケーションも紹介する。 コードはここで公開されている。 https://github.com/HellisotherPeople/Constrained-Text-Generation-Studio

関連論文リスト

• Learning to Generate Text in Arbitrary Writing Styles [6.7308816341849695]
  言語モデルは、潜在的に小さな文章サンプルに基づいて、著者固有のスタイルでテキストを作成することが望ましい。 本稿では,テクスチャ的特徴を捉えた対照的に訓練された表現を用いて,ターゲットスタイルのテキストを生成するための言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-28T18:58:52Z)
• TextDiffuser-2: Unleashing the Power of Language Models for Text Rendering [118.30923824681642]
  TextDiffuser-2は、テキストレンダリングのための言語モデルのパワーを解き放つことを目的としている。 拡散モデル内の言語モデルを用いて,行レベルでの位置とテキストを符号化する。 我々は広範な実験を行い、GPT-4Vと同様に、ヒトの参加者を含むユーザスタディを取り入れた。
  論文  参考訳（メタデータ） (2023-11-28T04:02:40Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• Text-Blueprint: An Interactive Platform for Plan-based Conditional Generation [84.95981645040281]
  プランニングは条件付き生成を不透明にし、基礎を固める上で有用な中間ステップである。 本稿では,問合せ-問合せ-問合せ-問合せペアを用いて,問合せに焦点を絞った要約のためのWebブラウザによる実演を紹介する。
  論文  参考訳（メタデータ） (2023-04-28T18:14:48Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• A Plug-and-Play Method for Controlled Text Generation [38.283313068622085]
  制御言語生成のためのプラグイン・アンド・プレイ復号法を提案する。 このアプローチの単純さにもかかわらず、実際に驚くほどうまく機能しているのが分かります。
  論文  参考訳（メタデータ） (2021-09-20T17:27:03Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Directed Beam Search: Plug-and-Play Lexically Constrained Language Generation [6.2211479935811775]
  最先端の言語モデルは、管理可能な時間でスクラッチからトレーニングするには大きすぎる。 語彙制約付き言語生成のためのプラグイン・アンド・プレイ方式であるDirected Beam Search (DBS)を提案する。
  論文  参考訳（メタデータ） (2020-12-31T03:05:44Z)
• Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models [62.997667081978825]
  ライターのブロックを解くという問題に対して,自然言語生成モデルを微調整するシステムについて述べる。 提案した微調整は, 少数のエポックとUSD150の総コストを伴っても, 優れた結果が得られる。
  論文  参考訳（メタデータ） (2020-12-19T11:19:11Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。