論文の概要: Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models

• arxiv url: http://arxiv.org/abs/2101.03216v2
• Date: Tue, 2 Mar 2021 18:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-01 15:32:02.800521
• Title: Breaking Writer's Block: Low-cost Fine-tuning of Natural Language Generation Models
• Title（参考訳）: breaking writer's block: 自然言語生成モデルの低コスト微調整
• Authors: Alexandre Duval, Thomas Lamson, Gael de Leseleuc de Kerouara and Matthias Gall\'e
• Abstract要約: ライターのブロックを解くという問題に対して,自然言語生成モデルを微調整するシステムについて述べる。 提案した微調整は, 少数のエポックとUSD150の総コストを伴っても, 優れた結果が得られる。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is standard procedure these days to solve Information Extraction task by fine-tuning large pre-trained language models. This is not the case for generation task, which relies on a variety of techniques for controlled language generation. In this paper, we describe a system that fine-tunes a natural language generation model for the problem of solving Writer's Block. The fine-tuning changes the conditioning to also include the right context in addition to the left context, as well as an optional list of entities, the size, the genre and a summary of the paragraph that the human author wishes to generate. Our proposed fine-tuning obtains excellent results, even with a small number of epochs and a total cost of USD 150. The system can be accessed as a web-service, and all the code is released. A video showcasing the interface and the model is also available.
• Abstract（参考訳）: 近年,大規模事前学習言語モデルの微調整による情報抽出課題の解決が標準化されている。 これは、制御された言語生成のための様々な技術に依存している生成タスクには当てはまらない。 本稿では,自然言語生成モデルを用いて,書き手のブロックを解く問題を微調整するシステムについて述べる。 微調整は、左のコンテキストに加えて適切なコンテキストも含むように条件を変更し、また、人間の著者が生成したいという段落のエンティティ、サイズ、ジャンル、要約のオプションリストも変更する。 提案したファインチューニングは,少ないエポックと合計150米ドルのコストで優れた結果が得られる。 システムはwebサービスとしてアクセスでき、すべてのコードがリリースされます。 インターフェースとモデルを展示するビデオも公開されている。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Efficient Guided Generation for Large Language Models [0.21485350418225244]
  本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2023-07-19T01:14:49Z)
• Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio [0.5097809301149341]
  ほとんどの言語モデルは、大きな制約の下でも魅力的なテキストを生成する。 本稿では,言語モデルの語彙にフィルタ関数を合成することにより,言語モデルの出力を変更する手法を提案する。 また,この技術であるGadsbyを紹介するHuggingfaceスペースWebアプリケーションについても紹介する。
  論文  参考訳（メタデータ） (2023-06-28T05:10:51Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing [78.8500633981247]
  本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。 入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
  論文  参考訳（メタデータ） (2021-07-28T18:09:46Z)
• Automatic Code Generation using Pre-Trained Language Models [0.0]
  学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。 本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
  論文  参考訳（メタデータ） (2021-02-21T07:21:26Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。