論文の概要: Extending LLMs' Context Window with 100 Samples

• arxiv url: http://arxiv.org/abs/2401.07004v1
• Date: Sat, 13 Jan 2024 07:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 20:20:59.118922
• Title: Extending LLMs' Context Window with 100 Samples
• Title（参考訳）: LLMのコンテキストウィンドウを100サンプルで拡張する
• Authors: Yikai Zhang, Junlong Li, Pengfei Liu
• Abstract要約: LLM(Large Language Models)は、事前訓練されたコンテキストウィンドウを超えて、外挿能力に制限があることが知られている。 最近の研究は回転位置埋め込み(RoPE)を改良してコンテキストウィンドウを拡張しようとしている。 我々は、RoPEのベース周波数の調整と注意ログのスケーリングを組み合わせて、LLMがより大きなコンテキストウインドウに効率的に適応するのに役立つ新しい拡張をRoPEに導入する。
• 参考スコア（独自算出の注目度）: 42.52554295241792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are known to have limited extrapolation ability beyond their pre-trained context window, constraining their application in downstream tasks with lengthy inputs. Recent studies have sought to extend LLMs' context window by modifying rotary position embedding (RoPE), a popular position encoding method adopted by well-known LLMs such as LLaMA, PaLM, and GPT-NeoX. However, prior works like Position Interpolation (PI) and YaRN are resource-intensive and lack comparative experiments to assess their applicability. In this work, we identify the inherent need for LLMs' attention entropy (i.e. the information entropy of attention scores) to maintain stability and introduce a novel extension to RoPE which combines adjusting RoPE's base frequency and scaling the attention logits to help LLMs efficiently adapt to a larger context window. We validate the superiority of our method in both fine-tuning performance and robustness across different context window sizes on various context-demanding tasks. Notably, our method extends the context window of LLaMA-2-7B-Chat to 16,384 with only 100 samples and 6 training steps, showcasing extraordinary efficiency. Finally, we also explore how data compositions and training curricula affect context window extension for specific downstream tasks, suggesting fine-tuning LLMs with lengthy conversations as a good starting point. We release our code and SFT data at https://github.com/GAIR-NLP/Entropy-ABF.
• Abstract（参考訳）: 大規模言語モデル(llm)は、事前学習されたコンテキストウィンドウを超えて補間能力に制限があり、長い入力を持つ下流タスクでアプリケーションを制限することが知られている。 近年,LLaMA, PaLM, GPT-NeoXなどの有名なLLMが採用している回転位置埋め込み(RoPE)を改良し, LLMのコンテキストウインドウを拡張しようと試みている。 しかし、位置補間(PI)やYarnといった以前の作業はリソース集約的であり、適用性を評価するための比較実験が欠如している。 本研究では,LLMのアテンションエントロピー(すなわち,アテンションスコアの情報エントロピー)による安定性維持の必要性を明らかにし,RoPEのベース周波数の調整とアテンションロジットのスケーリングを組み合わせたRoPEの拡張を導入し,LLMのコンテキストウィンドウへの適応を支援する。 各種コンテキスト要求タスクにおいて,異なるコンテキストウィンドウサイズにわたる微調整性能とロバスト性の両方において,本手法の優位性を検証した。 特に,LLaMA-2-7B-Chatのコンテキストウィンドウを,100個のサンプルと6個のトレーニングステップで16,384まで拡張し,超効率性を示した。 最後に、データ構成と訓練カリキュラムが特定の下流タスクのコンテキストウィンドウ拡張にどのように影響するかについても検討し、長い会話を伴う微調整LDMを良い出発点として提案する。 コードとSFTデータはhttps://github.com/GAIR-NLP/Entropy-ABF.orgで公開しています。

関連論文リスト

• Role-RL: Online Long-Context Processing with Role Reinforcement Learning for Distinct LLMs in Their Optimal Roles [13.64363652226897]
  長いコンテキスト処理を持つ大規模言語モデル(LLM)は、実装の複雑さ、訓練効率、データの分散性のために、依然として難しい。 オンラインLong-Context Processing(OLP)は、無制限のドキュメントを処理する際に提案されるもので、通常は、自動ニュースレポーティング、ライブeコマース、バイラルショートビデオなどの多様なストリーミングメディアの情報受信と組織化に発生する。 また,OLPパイプライン内の各ロールに,実際の性能に応じて異なるLLMを自動デプロイする役割強化学習(Role-RL)を開発した。
  論文  参考訳（メタデータ） (2024-09-26T16:22:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Found in the Middle: How Language Models Use Long Contexts Better via Plug-and-Play Positional Encoding [78.36702055076456]
  本稿では,マルチスケール位置決めについて紹介する。 (Ms-PoE)は、シンプルで効果的なプラグアンドプレイ方式で、キャパシティを向上させる。 LLMはコンテキストの中央に位置する関連情報を扱う。
  論文  参考訳（メタデータ） (2024-03-05T04:58:37Z)
• LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
  LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。 バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。 複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
  論文  参考訳（メタデータ） (2024-01-02T18:30:51Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• Retrieval meets Long Context Large Language Models [59.431200671427064]
  大規模言語モデル(LLM)のコンテキストウィンドウの拡張が最近人気を集めている。 Retrieval-augmentation対ロングコンテキストウィンドウ。 両方の方法を組み合わせることで、両方の世界を最大限に活用できますか? 我々の最良モデルである32Kコンテキストウィンドウ付きLlama2-70Bは、9つの長いコンテキストタスクの平均スコアにおいて、GPT-3.5-turbo-16kとDavinci003より優れています。
  論文  参考訳（メタデータ） (2023-10-04T17:59:41Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [12.708117108874083]
  大きな言語モデル(LLM)は、ゼロショットで自然言語の意図を与えられたコードスニペットを生成する。 従来の研究は、タスク固有のプロンプト例でLLM生成プロセスを導く戦略として、インコンテキストラーニング(ICL)を探求していた。 本稿では,本論文の総合的研究について述べる。 自動コード生成シナリオにおけるLLMのためのPEFT技術。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline [22.08897444328099]
  大規模言語モデル(LLM)はAIの分野に革命をもたらし、様々なタスクで前例のない能力を示している。 本稿では,LLMのパワーを利用する効率的なLLM推論パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。