論文の概要: Do Large Language Models Need a Content Delivery Network?

• arxiv url: http://arxiv.org/abs/2409.13761v2
• Date: Mon, 21 Oct 2024 15:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:24:17.848878
• Title: Do Large Language Models Need a Content Delivery Network?
• Title（参考訳）: 大規模言語モデルはコンテンツ配信ネットワークを必要とするか?
• Authors: Yihua Cheng, Kuntai Du, Jiayi Yao, Junchen Jiang,
• Abstract要約: 我々は、LLMエンジンや他の計算および記憶資源間でKVキャッシュのストレージ、転送、構成を動的に最適化する知識配信ネットワーク(KDN)を構想する。 我々は、KDNプロトタイプをhttps://github.com/LMCache/LMCacheでオープンソース化しました。
• 参考スコア（独自算出の注目度）: 4.816440228214873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the use of large language models (LLMs) expands rapidly, so does the range of knowledge needed to supplement various LLM queries. Thus, enabling flexible and efficient injection of new knowledge in LLM inference is critical. Three high-level options exist: (i) embedding the knowledge in LLM's weights (i.e., fine-tuning), (ii) including the knowledge as a part of LLM's text input (i.e., in-context learning), or (iii) injecting the KV caches of the new knowledge to LLM during prefill. This paper argues that, although fine-tuning and in-context learning are popular, using KV caches as the medium of knowledge could simultaneously enable more modular management of knowledge injection and more efficient LLM serving with low cost and fast response. To realize these benefits, we envision a Knowledge Delivery Network (KDN), a new system component in LLM services that dynamically optimizes the storage, transfer, and composition of KV cache across LLM engines and other compute and storage resources. We believe that, just like content delivery networks (CDNs), such as Akamai, enabled the success of the Internet ecosystem through their efficient data delivery, KDNs will be critical to the success of LLM applications through their efficient knowledge delivery. We have open-sourced a KDN prototype at https://github.com/LMCache/LMCache.
• Abstract（参考訳）: 大規模言語モデル(LLM)の使用が急速に拡大するにつれて、様々なLLMクエリを補完するために必要な知識の範囲も拡大する。 したがって、LLM推論における新しい知識の柔軟かつ効率的な注入を可能にすることが重要である。 上位3つの選択肢がある。 一 LLMの重み(微調整)に知識を埋め込むこと。 (二) LLMのテキスト入力(インテキスト学習)の一部としての知識を含むこと、又は 3) プリフィル中に新たな知識のKVキャッシュをLSMに注入すること。 本稿では、微調整と文脈内学習が一般的であるが、知識の媒体としてKVキャッシュを使用することで、よりモジュール化された知識注入とより効率的なLLMを低コストかつ高速な応答で実現することができると論じる。 これらの利点を実現するため,LLM サービスにおける新しいシステムコンポーネントである知識配信ネットワーク (KDN) を構想し,LLM エンジンや他の計算・記憶資源間でのKV キャッシュのストレージ,転送,構成を動的に最適化する。 私たちは、Akamaiのようなコンテンツ配信ネットワーク(CDN)が、効率的なデータ配信を通じてインターネットエコシステムの成功を可能にしたのと同じように、KDNは、効率的な知識配信を通じてLLMアプリケーションの成功に不可欠であると考えています。 我々は、KDNプロトタイプをhttps://github.com/LMCache/LMCacheでオープンソース化しました。

関連論文リスト

• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs [72.49064988035126]
  マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。 具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。 実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
  論文  参考訳（メタデータ） (2023-11-27T12:29:20Z)
• Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs [19.0797968186656]
  大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。 以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-09-06T15:55:01Z)
• ONCE: Boosting Content-based Recommendation with Both Open- and Closed-source Large Language Models [39.193602991105]
  大規模言語モデル(LLM)は、事前学習から深い意味理解と広範な知識を持っている。 我々は、コンテンツベースのレコメンデーションを強化するために、オープンソースLLMとクローズドソースLLMの両方を活用する可能性を探る。 既存の最先端レコメンデーションモデルと比較して, 最大19.32%の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2023-05-11T04:51:21Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。