論文の概要: LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs

• arxiv url: http://arxiv.org/abs/2408.07055v1
• Date: Tue, 13 Aug 2024 17:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 16:45:31.945505
• Title: LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
• Title（参考訳）: LongWriter:Long Context LLMから1万以上の単語を生成する
• Authors: Yushi Bai, Jiajie Zhang, Xin Lv, Linzhi Zheng, Siqi Zhu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li,
• Abstract要約: LLM(Long context large language model)は、最大10000のトークンを処理できるが、2000ワードを超える出力を生成するのに苦労する。 我々は,超長期タスクをサブタスクに分解するエージェントベースのパイプラインであるAgentWriteを紹介する。 出力長が2kから32kのSFTデータを含むデータセットであるLongWriter-6kを構築した。
• 参考スコア（独自算出の注目度）: 57.23637303451716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current long context large language models (LLMs) can process inputs up to 100,000 tokens, yet struggle to generate outputs exceeding even a modest length of 2,000 words. Through controlled experiments, we find that the model's effective generation length is inherently bounded by the sample it has seen during supervised fine-tuning (SFT). In other words, their output limitation is due to the scarcity of long-output examples in existing SFT datasets. To address this, we introduce AgentWrite, an agent-based pipeline that decomposes ultra-long generation tasks into subtasks, enabling off-the-shelf LLMs to generate coherent outputs exceeding 20,000 words. Leveraging AgentWrite, we construct LongWriter-6k, a dataset containing 6,000 SFT data with output lengths ranging from 2k to 32k words. By incorporating this dataset into model training, we successfully scale the output length of existing models to over 10,000 words while maintaining output quality. We also develop LongBench-Write, a comprehensive benchmark for evaluating ultra-long generation capabilities. Our 9B parameter model, further improved through DPO, achieves state-of-the-art performance on this benchmark, surpassing even much larger proprietary models. In general, our work demonstrates that existing long context LLM already possesses the potential for a larger output window--all you need is data with extended output during model alignment to unlock this capability. Our code & models are at: https://github.com/THUDM/LongWriter.
• Abstract（参考訳）: 現在のロングコンテキストの大規模言語モデル(LLM)は、最大10万個のトークンを処理できるが、2000ワードを超える出力を生成するのに苦労している。 制御実験により、モデルの有効性生成長は、教師付き微調整(SFT)中に見られたサンプルによって本質的に境界づけられていることが判明した。 言い換えれば、それらの出力制限は、既存のSFTデータセットにおける長い出力例の不足によるものである。 そこで我々は,超長大なタスクをサブタスクに分解するエージェントベースのパイプラインであるAgentWriteを紹介した。 AgentWriteを活用することで、2kから32kまでの出力長を持つ6000のSFTデータを含むデータセットであるLongWriter-6kを構築する。 このデータセットをモデルトレーニングに組み込むことで、既存のモデルの出力長を1万ワード以上に拡大し、出力品質を維持できる。 また,超長寿命能力評価のための総合ベンチマークであるLongBench-Writeを開発した。 DPOによってさらに改善された我々の9Bパラメータモデルは、このベンチマークで最先端のパフォーマンスを実現し、さらに大きなプロプライエタリモデルを上回っています。 一般的に、我々の研究は、既存の長いコンテキスト LLM が既により大きな出力ウインドウの可能性を秘めていることを示している。 私たちのコードとモデルは以下のとおりです。

関連論文リスト

• LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models [60.79418872734049]
  LongWriter-V-22kは22,158のサンプルのデータセットで、複数の入力イメージ、命令、0から10,000ワードまでの出力がある。 提案するIterDPOは,長い出力をセグメントに分割し,反復補正を用いて元の出力と好みのペアを形成する。 LongWriter-V-22kとIterDPOでトレーニングした7Bパラメータモデルは、ベンチマークで素晴らしいパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2025-02-20T18:47:36Z)
• LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation [74.89981179257194]
  LongProc (Long Procedural Generation)は、Long-Context Language Model (LCLM) を評価するための新しいベンチマークである。 LongProcは、HTMLページから構造化された情報をTSVフォーマットに抽出し、旅行計画を作成する複雑な検索手順を実行する6つの手続き生成タスクで構成されている。 我々はLongProc上の17個のLCLMを3つの難易度で評価し、最大出力トークン数が500, 2K, 8Kと設定されている。
  論文  参考訳（メタデータ） (2025-01-09T18:16:55Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
  大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
  論文  参考訳（メタデータ） (2024-04-09T17:30:48Z)
• LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
  LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。 我々はSelf-Instructを使って長い命令追従データセットを構築した。 我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
  論文  参考訳（メタデータ） (2024-01-31T18:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。