論文の概要: Training With "Paraphrasing the Original Text'' Improves Long-Context Performance

• arxiv url: http://arxiv.org/abs/2312.11193v8
• Date: Thu, 11 Apr 2024 03:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 18:57:05.740669
• Title: Training With "Paraphrasing the Original Text'' Improves Long-Context Performance
• Title（参考訳）: Paraphrasing the Original Text' による学習の長期化
• Authors: Yijiong Yu,
• Abstract要約: 大きな言語モデル(LLM)は進化を続けており、長いコンテキスト入力を扱うように設計されている。 本稿では,これらの問題の根幹を検索能力の欠如として認識し,長いコンテキストにおけるキー情報の空間性によって悪化する。 本稿では,LLMの長文情報抽出能力を高めることを目的とした,"Paraphrasing the Original Text'"という新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As Large Language Models (LLMs) continue to evolve, more are being designed to handle long-context inputs. Despite this advancement, many models face challenges in achieving high precision on long-context tasks, often showing a ``lost in the middle'' issue. This paper identifies the root of these issues as a deficiency in retrieval capabilities, exacerbated by the sparsity of key information in long contexts. To tackle this challenge, we introduce a novel approach called ``Paraphrasing the Original Text'', aimed at augmenting LLMs' proficiency in extracting information from long context. This enhancement is achieved through a specialized supervised fine-tuning stage that incorporates paraphrasing information into training samples, thereby improving the model's retrieval capabilities for long-context scenarios. Testing on datasets like LongBench and NaturalQuestions Multi-document QA dataset, our method demonstrated significant improvements in managing long-context tasks, effectively addressing the ``lost in the middle'' dilemma. Specifically, we observed an average performance increase of 6.4\% and 5.9\% across these datasets, respectively. Moreover, our approach is efficient, requiring minimal overhead with fine-tuning needed on just 19k samples. The model and training data have been made available on HuggingFace(https://huggingface.co/yuyijiong/Qwen-14b-chat-yarn-32k).
• Abstract（参考訳）: 大きな言語モデル(LLM)が進化を続けるにつれ、長いコンテキスト入力を扱うように設計されている。 この進歩にもかかわらず、多くのモデルは、長いコンテキストのタスクで高い精度を達成することの難しさに直面し、しばしば『中間のロスト』問題を示す。 本稿では,これらの問題の根幹を検索能力の欠如として認識し,長いコンテキストにおけるキー情報の空間性によって悪化する。 この課題に対処するために,LLMの長文情報抽出能力を高めることを目的とした,'Paraphrasing the Original Text''という新しいアプローチを導入する。 この強化は、訓練サンプルにパラフレーズ情報を組み込んだ特殊な微調整段階を通じて達成され、長文シナリオに対するモデルの検索能力が改善される。 また,LongBenchやNaturalQuestionsといったデータセットを用いたマルチドキュメントQAデータセットを用いて,長文タスクの管理において大幅な改善がみられ,‘中間のロスト’ジレンマに効果的に対処できた。 具体的には、これらのデータセットの平均的なパフォーマンスは、それぞれ6.4\%と5.9\%である。 さらに,本手法は効率が良く,19kサンプルの微調整を必要とせず,オーバーヘッドを最小限に抑えることができる。 モデルとトレーニングデータはHuggingFace(https://huggingface.co/yuyijiong/Qwen-14b-chat-yarn-32k)で公開されている。

関連論文リスト

• Language Models can Self-Lengthen to Generate Long Texts [74.96074422345806]
  本稿では,Self-Lengthenというイノベーティブな反復学習フレームワークを紹介する。 補助的なデータやプロプライエタリなモデルを必要としない、大規模言語モデルの本質的な知識とスキルのみを活用する。 ベンチマークと人的評価の実験により、Self-Lengthenは長文生成において既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-10-31T13:47:10Z)
• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 ProLong-8BはLlama-3のもので、40Bトークンで訓練されている。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models [21.90388980448712]
  長いコンテキストを扱うためのトレーニングモデルには、大きな課題があります。 継続事前学習フェーズで使用される新しいデータ拡張戦略であるUntie the Knots(textbfUtK)を紹介する。 我々は、UtKがRULER上で128Kの文脈長で75%と84.5%の精度を達成したことを示す200億のトークンで訓練された7Bと72Bのパラメータを持つモデルに関する広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-07T09:28:55Z)
• Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
  本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。 視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。 この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
  論文  参考訳（メタデータ） (2024-06-04T17:59:25Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• Long Context is Not Long at All: A Prospector of Long-Dependency Data for Large Language Models [13.091271774417867]
  長期コンテキストモデリング機能は、様々なアプリケーションにおいて大きな言語モデル(LLM)にとって重要である。 データマイニングフレームワーク textbfProLong を提案する。 複数のベンチマークに関する総合的な実験は、ProLongが長い依存関係を持つドキュメントを効果的に識別していることを示している。
  論文  参考訳（メタデータ） (2024-05-28T07:36:56Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。