論文の概要: LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs

• arxiv url: http://arxiv.org/abs/2408.07055v1
• Date: Tue, 13 Aug 2024 17:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 16:45:31.945505
• Title: LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
• Title（参考訳）: LongWriter:Long Context LLMから1万以上の単語を生成する
• Authors: Yushi Bai, Jiajie Zhang, Xin Lv, Linzhi Zheng, Siqi Zhu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li,
• Abstract要約: LLM(Long context large language model)は、最大10000のトークンを処理できるが、2000ワードを超える出力を生成するのに苦労する。 我々は,超長期タスクをサブタスクに分解するエージェントベースのパイプラインであるAgentWriteを紹介する。 出力長が2kから32kのSFTデータを含むデータセットであるLongWriter-6kを構築した。
• 参考スコア（独自算出の注目度）: 57.23637303451716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current long context large language models (LLMs) can process inputs up to 100,000 tokens, yet struggle to generate outputs exceeding even a modest length of 2,000 words. Through controlled experiments, we find that the model's effective generation length is inherently bounded by the sample it has seen during supervised fine-tuning (SFT). In other words, their output limitation is due to the scarcity of long-output examples in existing SFT datasets. To address this, we introduce AgentWrite, an agent-based pipeline that decomposes ultra-long generation tasks into subtasks, enabling off-the-shelf LLMs to generate coherent outputs exceeding 20,000 words. Leveraging AgentWrite, we construct LongWriter-6k, a dataset containing 6,000 SFT data with output lengths ranging from 2k to 32k words. By incorporating this dataset into model training, we successfully scale the output length of existing models to over 10,000 words while maintaining output quality. We also develop LongBench-Write, a comprehensive benchmark for evaluating ultra-long generation capabilities. Our 9B parameter model, further improved through DPO, achieves state-of-the-art performance on this benchmark, surpassing even much larger proprietary models. In general, our work demonstrates that existing long context LLM already possesses the potential for a larger output window--all you need is data with extended output during model alignment to unlock this capability. Our code & models are at: https://github.com/THUDM/LongWriter.
• Abstract（参考訳）: 現在のロングコンテキストの大規模言語モデル(LLM)は、最大10万個のトークンを処理できるが、2000ワードを超える出力を生成するのに苦労している。 制御実験により、モデルの有効性生成長は、教師付き微調整(SFT)中に見られたサンプルによって本質的に境界づけられていることが判明した。 言い換えれば、それらの出力制限は、既存のSFTデータセットにおける長い出力例の不足によるものである。 そこで我々は,超長大なタスクをサブタスクに分解するエージェントベースのパイプラインであるAgentWriteを紹介した。 AgentWriteを活用することで、2kから32kまでの出力長を持つ6000のSFTデータを含むデータセットであるLongWriter-6kを構築する。 このデータセットをモデルトレーニングに組み込むことで、既存のモデルの出力長を1万ワード以上に拡大し、出力品質を維持できる。 また,超長寿命能力評価のための総合ベンチマークであるLongBench-Writeを開発した。 DPOによってさらに改善された我々の9Bパラメータモデルは、このベンチマークで最先端のパフォーマンスを実現し、さらに大きなプロプライエタリモデルを上回っています。 一般的に、我々の研究は、既存の長いコンテキスト LLM が既により大きな出力ウインドウの可能性を秘めていることを示している。 私たちのコードとモデルは以下のとおりです。

関連論文リスト

• Language Models can Self-Lengthen to Generate Long Texts [74.96074422345806]
  本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。 補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。 ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-31T13:47:10Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
  大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2024-04-09T17:30:48Z)
• Training-Free Long-Context Scaling of Large Language Models [114.53296002607993]
  我々は、Llama2 70Bが連続的なトレーニングなしで100k以上のトークンのコンテキストウィンドウをサポート可能なDual Chunk Attentionを提案する。 長いシーケンスの注意をチャンクベースのモジュールに分解することで、DCAはトークンの相対的な位置情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2024-02-27T12:39:23Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。