論文の概要: Language Models can Self-Lengthen to Generate Long Texts

• arxiv url: http://arxiv.org/abs/2410.23933v1
• Date: Thu, 31 Oct 2024 13:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:02:12.914360
• Title: Language Models can Self-Lengthen to Generate Long Texts
• Title（参考訳）: 言語モデルは長文を自動生成できる
• Authors: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin,
• Abstract要約: 本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。 補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。 ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 74.96074422345806
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.
• Abstract（参考訳）: 近年のLLM(Large Language Models)の進歩は、長いコンテキストを処理する能力を大幅に向上させた。 この制限は、事前学習が長文生成の効果的な命令を欠いているトレーニングギャップに起因しており、後トレーニングデータは主に短いクエリ応答ペアで構成されている。 命令のバックトランスレーションや振る舞いの模倣といった現在のアプローチでは、データ品質、著作権の問題、プロプライエタリなモデルの使用に関する制約といった課題に直面している。 本稿では、補助データやプロプライエタリモデルを必要とせず、LLMの本質的な知識とスキルのみを活用する、Self-Lengthenと呼ばれる革新的な反復学習フレームワークを紹介する。 フレームワークは、GeneratorとExtensionerの2つの役割で構成されている。 ジェネレータは初期応答を生成し、拡張器によって分割して拡張する。 このプロセスは、ジェネレータと拡張器の両方を反復的にトレーニングするために使用される、新しい、より長いレスポンスをもたらす。 このプロセスを通じて、モデルはより長いレスポンスを扱うように徐々に訓練される。 ベンチマークや人体評価の実験では、Qwen2やLLaMA3といったオープンソースのLLMに適用した場合、Self-Lengthenは従来の手法よりも長文生成の方が優れていることが示されている。 私たちのコードはhttps://github.com/QwenLM/Self-Lengthen.comで公開されています。

関連論文リスト

• HelloBench: Evaluating Long Text Generation Capabilities of Large Language Models [89.28591263741973]
  長文生成における大規模言語モデルの性能を評価するために,階層長文生成ベンチマーク(HelloBench)を導入する。 HelloBenchはブルームの分類に基づいて、長いテキスト生成タスクをオープンエンドQA、要約、チャット、テキスト補完、テキスト生成の5つのサブタスクに分類する。 また,人的評価に要する時間と労力を大幅に削減する人的評価手法である階層的長文評価(HelloEval)を提案する。
  論文  参考訳（メタデータ） (2024-09-24T15:38:11Z)
• Prompt2Model: Generating Deployable Models from Natural Language Instructions [74.19816829003729]
  大規模言語モデル(LLM)により、システムビルダーはプロンプトによって有能なNLPシステムを作成することができる。 言い換えれば、LSMは従来の特殊目的のNLPモデルとは逆のステップである。 本稿では,LLMに提供されるプロンプトのように自然言語によるタスク記述を行う汎用手法であるPrompt2Modelを提案する。
  論文  参考訳（メタデータ） (2023-08-23T17:28:21Z)
• Giraffe: Adventures in Expanding Context Lengths in LLMs [7.8327063299618]
  線形スケーリングは文脈長を拡張するのに最適であることを示す。 また,将来的な外挿機能についても検討した。 この領域のさらなる研究を支援するために,13Bパラメータ長コンテキストモデルを新たに3つリリースする。
  論文  参考訳（メタデータ） (2023-08-21T17:30:16Z)
• Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
  我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。 本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。 予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
  論文  参考訳（メタデータ） (2023-04-24T07:35:38Z)
• ELMER: A Non-Autoregressive Pre-trained Language Model for Efficient and Effective Text Generation [97.64625999380425]
  事前学習言語モデル(PLM)のアプローチによるテキスト生成タスクについて検討する。 早期出口技術を活用することで、ELMERは予測信頼度に応じて異なるレイヤでのトークン生成を可能にする。 3つのテキスト生成タスクの実験では、EMMERはNARモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-24T14:46:47Z)
• Selective Token Generation for Few-shot Natural Language Generation [19.015739016376532]
  我々は、強化学習(RL)に基づく新しい追加学習アルゴリズムを開発する。 提案した選択トークン生成法は, PLM に基づく従来の付加的学習アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T00:48:52Z)
• Read before Generate! Faithful Long Form Question Answering with Machine Reading [77.17898499652306]
  LFQA(Long-form Question answering)は、ある質問に対する段落長の回答を生成することを目的としている。 生成と機械読取を協調的にモデル化する新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-01T10:41:17Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。