論文の概要: RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting

• arxiv url: http://arxiv.org/abs/2305.15685v1
• Date: Thu, 25 May 2023 03:26:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:44:09.501884
• Title: RewriteLM: An Instruction-Tuned Large Language Model for Text Rewriting
• Title（参考訳）: RewriteLM: テキスト書き換えのための命令付き大規模言語モデル
• Authors: Lei Shu, Liangchen Luo, Jayakumar Hoskere, Yun Zhu, Canoee Liu, Simon Tong, Jindong Chen, Lei Meng
• Abstract要約: OpenRewriteEvalは、自然言語命令によって表現される多種多様な書き換えタイプをカバーする、新しいベンチマークである。 本稿では,長文書き直しのための命令調整型大規模言語モデルであるRewriteLMを提案する。
• 参考スコア（独自算出の注目度）: 13.221172253637679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated impressive zero-shot capabilities in long-form text generation tasks expressed through natural language instructions. However, user expectations for long-form text rewriting is high, and unintended rewrites (''hallucinations'') produced by the model can negatively impact its overall performance. Existing evaluation benchmarks primarily focus on limited rewriting styles and sentence-level rewriting rather than long-form open-ended rewriting.We introduce OpenRewriteEval, a novel benchmark that covers a wide variety of rewriting types expressed through natural language instructions. It is specifically designed to facilitate the evaluation of open-ended rewriting of long-form texts. In addition, we propose a strong baseline model, RewriteLM, an instruction-tuned large language model for long-form text rewriting. We develop new strategies that facilitate the generation of diverse instructions and preference data with minimal human intervention. We conduct empirical experiments and demonstrate that our model outperforms the current state-of-the-art LLMs in text rewriting. Specifically, it excels in preserving the essential content and meaning of the source text, minimizing the generation of ''hallucinated'' content, while showcasing the ability to generate rewrites with diverse wording and structures.
• Abstract（参考訳）: 大言語モデル(LLM)は、自然言語命令によって表現される長文生成タスクにおいて、印象的なゼロショット機能を示している。 しかし、長文テキストの書き直しに対するユーザの期待は高く、モデルが生成した意図しない書き直し('hallucinations'')は全体的なパフォーマンスに悪影響を及ぼす可能性がある。 既存の評価ベンチマークは主に、長い形式のオープンエンドリライトではなく、限定的なリライトスタイルと文レベルのリライトに重点を置いており、我々は、自然言語命令によって表現される多種多様なリライトタイプをカバーする新しいベンチマークであるOpenRewriteEvalを紹介した。 長文のオープン・エンド・リライトの評価を容易にするよう特別に設計されている。 さらに,長文書き起こしのための命令調整型大規模言語モデルであるRewriteLMを提案する。 我々は,人間の介入を最小限に抑えつつ,多様な指示や嗜好データの生成を促進する新しい戦略を開発する。 我々は経験的な実験を行い、このモデルが現在のテキスト書き換えにおける最先端のllmを上回ることを実証する。 具体的には、原文の本質的内容と意味を保存し、「ハロシン化」コンテンツの生成を最小限に抑えつつ、多種多様な語句や構造で書き直しを生成する能力を示す。

関連論文リスト

• Handwritten Text Generation from Visual Archetypes [25.951540903019467]
  Few-Shotスタイルの手書きテキスト生成のためのTransformerベースのモデルを提案する。 我々は,大規模な合成データセット上で,特定の事前学習を活用することで,目に見えない作者の書跡の堅牢な表現を得る。
  論文  参考訳（メタデータ） (2023-03-27T14:58:20Z)
• Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning [112.28706658585257]
  本稿では,Flamingo上に構築されたRetrieval-augmented Visual Language Model,Re-ViLMを紹介する。 外部データベースに特定の知識を明示的に格納することで、モデルパラメータの数を減らすことができる。 Re-ViLMは画像・テキスト生成タスクの性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2023-02-09T18:57:56Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• LAMP: Extracting Text from Gradients with Language Model Priors [9.242965489146398]
  最近の研究は、センシティブなユーザデータを勾配更新から再構築できることを示し、フェデレートされた学習における重要なプライバシーの約束を破っている。 我々は,テキストデータに適した新しい攻撃であるLAMPを提案し,勾配からオリジナルテキストを再構築することに成功した。
  論文  参考訳（メタデータ） (2022-02-17T18:49:25Z)
• SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
  SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。 SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。 すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
  論文  参考訳（メタデータ） (2022-01-10T18:47:15Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• DRAG: Director-Generator Language Modelling Framework for Non-Parallel Author Stylized Rewriting [9.275464023441227]
  書き直しは、入力テキストを特定の著者のスタイルで書き直す作業である。 著者のスタイルでコンテンツの書き直しを行うためのディレクター・ジェネレータフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-28T06:52:40Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。