論文の概要: LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
- arxiv url: http://arxiv.org/abs/2502.07365v2
- Date: Wed, 19 Feb 2025 10:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-20 13:57:11.100009
- Title: LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
- Title（参考訳）: LongReD: 修復蒸留による長期大言語モデルの短文劣化の軽減
- Authors: Zican Dong, Junyi Li, Jinhao Jiang, Mingyu Xu, Wayne Xin Zhao, Bingning Wang, Weipeng Chen,
- Abstract要約: 回復蒸留(LongReD)による長期事前トレーニング
LongReDは、選択されたレイヤの隠れた状態をオリジナルのモデルから短いテキストで蒸留する。
一般的なテキストベンチマークの実験では、LongReDはモデルの短文性能を効果的に維持することを示した。
- 参考スコア（独自算出の注目度）: 79.90766312484489
- License:
- Abstract: Large language models (LLMs) have gained extended context windows through scaling positional encodings and lightweight continual pre-training. However, this often leads to degraded performance on short-text tasks, while the reasons for this degradation remain insufficiently explored. In this work, we identify two primary factors contributing to this issue: distribution drift in hidden states and attention scores, and catastrophic forgetting during continual pre-training. To address these challenges, we propose Long Context Pre-training with Restoration Distillation (LongReD), a novel approach designed to mitigate short-text performance degradation through minimizing the distribution discrepancy between the extended and original models. Besides training on long texts, LongReD distills the hidden state of selected layers from the original model on short texts. Additionally, LongReD also introduces a short-to-long distillation, aligning the output distribution on short texts with that on long texts by leveraging skipped positional indices. Experiments on common text benchmarks demonstrate that LongReD effectively preserves the model's short-text performance while maintaining comparable or even better capacity to handle long texts than baselines. Our code is available at https://github.com/RUCAIBox/LongReD.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、位置エンコーディングのスケーリングと軽量な継続事前トレーニングによって拡張されたコンテキストウィンドウを得た。
しかし、これはしばしば短文タスクの性能低下につながるが、この劣化の理由はいまだに十分に調査されていない。
本研究では,本問題に寄与する主な要因として,隠蔽状態における分布ドリフトと注意点,および連続事前学習時の破滅的な忘れ込みの2つを同定する。
これらの課題に対処するために,拡張モデルとオリジナルモデルとの分布差を最小限に抑え,短文性能劣化を緩和する新しい手法であるLongReD(Long Context Pre-training with Restoration Distillation)を提案する。
長いテキストのトレーニングに加えて、LongReDは、選択したレイヤの隠れた状態をオリジナルのモデルから短いテキストで抽出する。
さらに、LongReDは短くて長い蒸留を導入し、スキップされた位置指標を利用して短いテキストの出力分布と長いテキストの出力分布を一致させる。
一般的なテキストベンチマークの実験では、LongReDはモデル短文のパフォーマンスを効果的に保ちながら、ベースラインよりも長いテキストを扱う能力を維持している。
私たちのコードはhttps://github.com/RUCAIBox/LongReD.comで利用可能です。
関連論文リスト
- Length-Induced Embedding Collapse in Transformer-based Models [7.127156731612495]
性能劣化は、長文埋め込みが狭い空間に崩壊するLongth Collapseと呼ばれる現象によるものであることが判明した。
この崩壊により、異なるテキスト長の埋め込み間の分散不整合が生じ、下流タスクのパフォーマンスが損なわれる。
本研究では,低フィルタ減衰率の高いソフトマックス()に温度を導入することにより,望ましくない長さの崩壊制限を緩和することを提案する。
論文 参考訳（メタデータ） (2024-10-31T17:55:36Z) - Language Models can Self-Lengthen to Generate Long Texts [74.96074422345806]
本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。
補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。
ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-10-31T13:47:10Z) - Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA [71.04146366608904]
長いコンテキストモデリング能力は広く注目を集めており、超コンテキストウィンドウを持つLarge Language Models (LLMs) の出現につながっている。
拡張多文書質問応答(QA)によって現実的なシナリオに整合する新しい長文ベンチマークであるLoongを提案する。
Loong氏は、Spotlight Locating, Comparison, Clustering, Chain of Reasoningという、コンテキスト長の4つのタスクを紹介している。
論文 参考訳（メタデータ） (2024-06-25T09:42:56Z) - FragRel: Exploiting Fragment-level Relations in the External Memory of Large Language Models [54.13671100638092]
断片接続型階層型メモリベース大規模言語モデル(LLM)を提案する。
外部メモリにおけるフラグメントレベルの関係を定式化し、異なるテキストタイプに対していくつかのインスタンスを提示する。
長いストーリー理解、リポジトリレベルのコード生成、長期チャットにこれらの関係を組み込むことの利点を検証する。
論文 参考訳（メタデータ） (2024-06-05T09:31:37Z) - SirLLM: Streaming Infinite Retentive LLM [74.40196814292426]
大きな言語モデル(LLM)は任意の長さの入力を処理し、メモリの程度を維持する。
近年の取り組みでは、過度に長いテキスト入力の圧力を軽減するためにストリーミング入力が採用されている。
本稿では,SirLLM(Streaming Infinite Retentive LLM)を提案する。
論文 参考訳（メタデータ） (2024-05-21T06:37:03Z) - Length-Aware Multi-Kernel Transformer for Long Document Classification [4.796752450839119]
長いドキュメントは、かなりのメモリ消費のために、ニューラルネットワークモデルに固有の課題を生じさせる。
長文分類における新たな課題に対処するため,Longth-Aware Multi- Kernel Transformer (LAMKIT)を提案する。
論文 参考訳（メタデータ） (2024-05-11T16:48:06Z) - Extending Context Window of Large Language Models via Semantic
Compression [21.35020344956721]
大規模言語モデル(LLM)は、しばしば、流動的で関連する応答の生成を保証するために、テキスト入力の長さに制限を課す。
本稿では,テキストを6～8倍長大に一般化するセマンティック圧縮手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T07:04:33Z) - Adapting Pretrained Text-to-Text Models for Long Text Sequences [39.62224414485055]
我々は、時系列入力に既存の事前訓練されたテキスト・ツー・テキスト・モデルを適用する。
長文QAタスク上での競合性能を実現するための長文モデルを構築した。
論文 参考訳（メタデータ） (2022-09-21T00:41:07Z) - SCROLLS: Standardized CompaRison Over Long Language Sequences [62.574959194373264]
SCROLLSは長いテキストに対する推論を必要とするタスクのスイートである。
SCROLLSには要約、質問応答、自然言語推論タスクが含まれる。
すべてのデータセットを統一されたテキスト・ツー・テキスト形式で利用可能にし、モデルアーキテクチャと事前学習方法の研究を容易にするために、ライブのリーダーボードをホストします。
論文 参考訳（メタデータ） (2022-01-10T18:47:15Z) - Reinforced Abstractive Summarization with Adaptive Length Controlling [12.793451906532223]
制御可能な要約、特に長さは、いくつかの実用的な応用において重要な問題である。
2段階の抽象的要約モデルを活用するために、textbfAdaptive textbfLength textbfControlling textbfOptimization (textbfALCO)法を提案する。
論文 参考訳（メタデータ） (2021-12-14T16:48:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。