Fugu-MT 論文翻訳(概要): Giraffe: Adventures in Expanding Context Lengths in LLMs

論文の概要: Giraffe: Adventures in Expanding Context Lengths in LLMs

arxiv url: http://arxiv.org/abs/2308.10882v1
Date: Mon, 21 Aug 2023 17:30:16 GMT
ステータス: 処理完了
システム内更新日: 2023-08-22 12:31:20.517977
Title: Giraffe: Adventures in Expanding Context Lengths in LLMs
Title（参考訳）: Giraffe: LLMのコンテキスト長を拡大するアドベンチャー
Authors: Arka Pal, Deep Karkhanis, Manley Roberts, Samuel Dooley, Arvind Sundararajan, Siddartha Naidu
Abstract要約: 線形スケーリングは文脈長を拡張するのに最適であることを示す。また,将来的な外挿機能についても検討した。この領域のさらなる研究を支援するために,13Bパラメータ長コンテキストモデルを新たに3つリリースする。
参考スコア（独自算出の注目度）: 7.8327063299618
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern large language models (LLMs) that rely on attention mechanisms are typically trained with fixed context lengths which enforce upper limits on the length of input sequences that they can handle at evaluation time. To use these models on sequences longer than the train-time context length, one might employ techniques from the growing family of context length extrapolation methods -- most of which focus on modifying the system of positional encodings used in the attention mechanism to indicate where tokens or activations are located in the input sequence. We conduct a wide survey of existing methods of context length extrapolation on a base LLaMA or LLaMA 2 model, and introduce some of our own design as well -- in particular, a new truncation strategy for modifying the basis for the position encoding. We test these methods using three new evaluation tasks (FreeFormQA, AlteredNumericQA, and LongChat-Lines) as well as perplexity, which we find to be less fine-grained as a measure of long context performance of LLMs. We release the three tasks publicly as datasets on HuggingFace. We discover that linear scaling is the best method for extending context length, and show that further gains can be achieved by using longer scales at evaluation time. We also discover promising extrapolation capabilities in the truncated basis. To support further research in this area, we release three new 13B parameter long-context models which we call Giraffe: 4k and 16k context models trained from base LLaMA-13B, and a 32k context model trained from base LLaMA2-13B. We also release the code to replicate our results.
Abstract（参考訳）: 注意機構に依存する現代の大規模言語モデル(LLM)は、一般に、評価時に処理できる入力シーケンスの長さに上限を課す固定されたコンテキスト長で訓練される。これらのモデルを列車時コンテキスト長よりも長いシーケンスで使用するには、コンテキスト長の外挿法(主に注意機構で使用される位置エンコーディングのシステムを変更して、トークンやアクティベーションが入力シーケンスにどこにあるかを示すことに焦点を当てる)の家族の技法を用いる。我々は,LLaMAモデルやLLaMA 2モデル上で既存の文脈長外挿法を広範囲に調査し,位置符号化の基盤を変更するための新たなトランケーション戦略を,我々の設計にも導入する。我々はこれらの手法を3つの新しい評価タスク(FreeFormQA,AlteredNumericQA,LongChat-Lines)とパープレキシティ(perplexity)を用いて検証した。私たちは3つのタスクをHuggingFaceのデータセットとして公開しています。線形スケーリングは文脈長を拡張するための最良の手法であり,評価時に長いスケールを用いることで,さらなる利得が得られることを示す。我々はまた、有望な外挿能力を発見した。この領域のさらなる研究を支援するために、Giraffeと呼ばれる3つの新しい13Bパラメータ長コンテキストモデル:ベースLLaMA-13Bからトレーニングされた4kと16kコンテキストモデル、ベースLLaMA2-13Bからトレーニングされた32kコンテキストモデルをリリースする。結果を複製するコードもリリースしています。

関連論文リスト

XL3M: A Training-free Framework for LLM Length Extension Based on Segment-wise Inference [25.669630896777484]
本稿では,XL3Mと命名された効率的な学習自由フレームワークを提案する。これにより,短時間で訓練されたLLMが,それ以上のトレーニングや微調整を行なわずに極めて長いシーケンスを推論できる。総合的なベンチマークによる評価は、XL3Mの優位性を示している。
論文参考訳（メタデータ） (2024-05-28T02:12:35Z)
Long Context Alignment with Short Instructions and Synthesized Positions [56.1267385315404]
本稿では,ステップスキッピングアライメント(SkipAlign)を紹介する。これは、Large Language Models(LLMs)の長期コンテキスト機能を強化するために設計された新しい技術である。ベースモデルとアライメントデータセットを慎重に選択することで、SkipAlignは6Bパラメータだけで最高のパフォーマンスを実現し、LongBenchのGPT-3.5-Turbo-16Kのような強力なベースラインに匹敵する。
論文参考訳（メタデータ） (2024-05-07T01:56:22Z)
RULER: What's the Real Context Size of Your Long-Context Language Models? [23.220973811374225]
我々は、長文言語モデル(LM)を評価するための新しいベンチマークを作成する。我々はRULERにおける13のタスクからなる10の長文LMを評価した。バニラNIAHテストでほぼ完全な精度を達成したにもかかわらず、コンテキスト長が増加するにつれて、全てのモデルは大きな性能低下を示す。
論文参考訳（メタデータ） (2024-04-09T23:41:27Z)
Ada-LEval: Evaluating long-context LLMs with length-adaptable benchmarks [76.43527940649939]
大規模言語モデル(LLM)の長文理解を評価するベンチマークであるAda-LEvalを紹介する。 Ada-LEvalにはTSortとBestAnswerという2つの挑戦的なサブセットが含まれている。 Ada-LEvalを用いた4つの最先端クローズドソースAPIモデルと6つのオープンソースモデルを評価した。
論文参考訳（メタデータ） (2024-04-09T17:30:48Z)
LongAlign: A Recipe for Long Context Alignment of Large Language Models [61.85923382850057]
LongAlignは、ロングコンテキストアライメントのための命令データ、トレーニング、評価のレシピである。我々はSelf-Instructを使って長い命令追従データセットを構築した。我々は、長さ分布の異なるデータの教師付き微調整を高速化するために、パッキングとソート戦略を採用した。
論文参考訳（メタデータ） (2024-01-31T18:29:39Z)
LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [67.39585115936329]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文参考訳（メタデータ） (2024-01-02T18:30:51Z)
M4LE: A Multi-Ability Multi-Range Multi-Task Multi-Domain Long-Context Evaluation Benchmark for Large Language Models [61.06694491246026]
M4LEは、大規模言語モデル(LLM)の時系列能力を評価するためのベンチマークである。 M4LEは、36のNLPタスクタイプと12のドメインからなる多様なNLPタスクプールに基づいている。我々は,11個のLLM,特に長文入力に最適化されたLLMについて,系統評価を行った。
論文参考訳（メタデータ） (2023-10-30T03:11:30Z)
LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。