論文の概要: Retrieval meets Long Context Large Language Models
- arxiv url: http://arxiv.org/abs/2310.03025v2
- Date: Tue, 23 Jan 2024 07:49:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 19:06:43.275961
- Title: Retrieval meets Long Context Large Language Models
- Title(参考訳): RetrievalがLong Context Large Language Modelsに対応
- Authors: Peng Xu, Wei Ping, Xianchao Wu, Lawrence McAfee, Chen Zhu, Zihan Liu,
Sandeep Subramanian, Evelina Bakhturina, Mohammad Shoeybi, Bryan Catanzaro
- Abstract要約: 大規模言語モデル(LLM)のコンテキストウィンドウの拡張が最近人気を集めている。
Retrieval-augmentation対ロングコンテキストウィンドウ。
両方の方法を組み合わせることで、両方の世界を最大限に活用できますか?
我々の最良モデルである32Kコンテキストウィンドウ付きLlama2-70Bは、9つの長いコンテキストタスクの平均スコアにおいて、GPT-3.5-turbo-16kとDavinci003より優れています。
- 参考スコア(独自算出の注目度): 59.431200671427064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Extending the context window of large language models (LLMs) is getting
popular recently, while the solution of augmenting LLMs with retrieval has
existed for years. The natural questions are: i) Retrieval-augmentation versus
long context window, which one is better for downstream tasks? ii) Can both
methods be combined to get the best of both worlds? In this work, we answer
these questions by studying both solutions using two state-of-the-art
pretrained LLMs, i.e., a proprietary 43B GPT and Llama2-70B. Perhaps
surprisingly, we find that LLM with 4K context window using simple
retrieval-augmentation at generation can achieve comparable performance to
finetuned LLM with 16K context window via positional interpolation on long
context tasks, while taking much less computation. More importantly, we
demonstrate that retrieval can significantly improve the performance of LLMs
regardless of their extended context window sizes. Our best model,
retrieval-augmented Llama2-70B with 32K context window, outperforms
GPT-3.5-turbo-16k and Davinci003 in terms of average score on nine long context
tasks including question answering, query-based summarization, and in-context
few-shot learning tasks. It also outperforms its non-retrieval Llama2-70B-32k
baseline by a margin, while being much faster at generation. Our study provides
general insights on the choice of retrieval-augmentation versus long context
extension of LLM for practitioners.
- Abstract(参考訳): 大規模言語モデル (LLM) のコンテキストウィンドウの拡張は近年普及しており、LLMを検索で拡張するソリューションは長年にわたって存在してきた。
自然な疑問は
一 検索拡大対長期コンテキストウィンドウ。下流タスクにとってどちらがよいか。
二 両方の方法を組み合わせて両世界の長所を得ることができるか。
本研究では,2つの最先端事前学習LDM,すなわちプロプライエタリな43B GPTとLlama2-70Bを用いて,両方の解について検討する。
意外なことに、単純な検索拡張による4Kコンテキストウィンドウを持つLLMは、長いコンテキストタスクにおける位置補間により、16Kコンテキストウィンドウを持つ微調整LLMに匹敵する性能を達成できるが、計算ははるかに少ない。
さらに,拡張コンテキストウィンドウのサイズに関わらず,検索によりLLMの性能が大幅に向上することを示す。
私たちのベストモデルである検索型llama2-70b32kコンテキストウィンドウ,gpt-3.5-turbo-16kおよびdavinci003を,質問応答,クエリベースの要約,コンテキスト内少数ショット学習タスクを含む9つの長いコンテキストタスクの平均スコアで上回っている。
また、非リトリーバルのllama2-70b-32kベースラインをマージンで上回っている。
本研究は, LLMの長期拡張と検索強化の選択に関する一般的な知見を提供する。
関連論文リスト
- Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Extending LLMs' Context Window with 100 Samples [42.52554295241792]
LLM(Large Language Models)は、事前訓練されたコンテキストウィンドウを超えて、外挿能力に制限があることが知られている。
最近の研究は回転位置埋め込み(RoPE)を改良してコンテキストウィンドウを拡張しようとしている。
我々は、RoPEのベース周波数の調整と注意ログのスケーリングを組み合わせて、LLMがより大きなコンテキストウインドウに効率的に適応するのに役立つ新しい拡張をRoPEに導入する。
論文 参考訳(メタデータ) (2024-01-13T07:57:01Z) - Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon [23.369013431288998]
本稿では, LLMの生活性化をコンパクトな形式に凝縮する Activation Beacon という新しい手法を提案する。
Activation Beaconは、LLMの本来の機能を短いコンテキストで完全に保存するプラグインモジュールとして導入された。
我々の実験は、アクティベーション・ビーコンの文脈拡張の有効性を検証し、Llama-2-7Bの文脈の質の高い拡張を$times100$倍で達成できることを示した。
論文 参考訳(メタデータ) (2024-01-07T11:57:40Z) - LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning [70.29860436274241]
LLMには、微調整なしで長いコンテキストを処理できる固有の能力がある、と我々は主張する。
バイレベルアテンション情報を構築することで,LLMのコンテキストウィンドウを拡張するためのSelfExtendを提案する。
複数のベンチマークで包括的な実験を行い、その結果、既存のLLMのコンテキストウィンドウ長を効果的に拡張できることが示されている。
論文 参考訳(メタデータ) (2024-01-02T18:30:51Z) - PoSE: Efficient Context Window Extension of LLMs via Positional
Skip-wise Training [91.99700930388998]
固定されたコンテキストウィンドウを用いて長い入力をシミュレートする位置スキップ-wisEトレーニングを提案する。
PoSEはフル長の微調整に比べてメモリと時間オーバーヘッドを大幅に削減する。
2kのトレーニングコンテキストウィンドウを使用して,LLaMAモデルを128kトークンに拡張した。
論文 参考訳(メタデータ) (2023-09-19T08:03:38Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳(メタデータ) (2023-05-24T06:16:44Z) - Parallel Context Windows for Large Language Models [52.965170346907904]
本稿では,PCW(Parallel Context Windows)について述べる。
本研究の主な成果は,7億5000万から1億7800億のパラメータのモデルを用いて,テキスト内学習におけるPCWアプローチを検証した。
長いコンテキストウインドウが有益であるかもしれない他の設定では、マルチホップ質問と検索強化質問が複数の検索された文書で答えられる。
論文 参考訳(メタデータ) (2022-12-21T11:38:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。