論文の概要: Harnessing Scalable Transactional Stream Processing for Managing Large
Language Models [Vision]
- arxiv url: http://arxiv.org/abs/2307.08225v1
- Date: Mon, 17 Jul 2023 04:01:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 14:53:44.752871
- Title: Harnessing Scalable Transactional Stream Processing for Managing Large
Language Models [Vision]
- Title(参考訳): 大規模言語モデル管理のためのスケーラブルトランザクションストリーム処理のハーネス化 [Vision]
- Authors: Shuhao Zhang, Xianzhi Zeng, Yuhao Wu, Zhonghao Yang
- Abstract要約: 大規模言語モデル(LLM)は、広範囲のアプリケーションにまたがって素晴らしいパフォーマンスを示している。
本稿では,トランザクションストリーム処理(TSP)とLLM管理を統合する革命的フレームワークであるTStreamLLMを紹介する。
リアルタイムの患者モニタリングやインテリジェントなトラフィック管理といった実践的なユースケースを通じて、その可能性を示す。
- 参考スコア(独自算出の注目度): 4.553891255178496
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated extraordinary performance
across a broad array of applications, from traditional language processing
tasks to interpreting structured sequences like time-series data. Yet, their
effectiveness in fast-paced, online decision-making environments requiring
swift, accurate, and concurrent responses poses a significant challenge. This
paper introduces TStreamLLM, a revolutionary framework integrating
Transactional Stream Processing (TSP) with LLM management to achieve remarkable
scalability and low latency. By harnessing the scalability, consistency, and
fault tolerance inherent in TSP, TStreamLLM aims to manage continuous &
concurrent LLM updates and usages efficiently. We showcase its potential
through practical use cases like real-time patient monitoring and intelligent
traffic management. The exploration of synergies between TSP and LLM management
can stimulate groundbreaking developments in AI and database research. This
paper provides a comprehensive overview of challenges and opportunities in this
emerging field, setting forth a roadmap for future exploration and development.
- Abstract(参考訳): 大規模言語モデル(LLM)は、従来の言語処理タスクから時系列データのような構造化シーケンスの解釈に至るまで、幅広いアプリケーションで素晴らしいパフォーマンスを示している。
しかし、迅速なペースでオンライン意思決定環境におけるそれらの効果は、迅速で正確で並行的な応答を必要とする。
本稿では,トランザクションストリーム処理(TSP)とLLM管理を統合し,スケーラビリティと低レイテンシを実現する革命的フレームワークであるTStreamLLMを紹介する。
TSP固有のスケーラビリティ、一貫性、フォールトトレランスを活用することで、TStreamLLMは、継続的かつ並列的なLLM更新と使用を効率的に管理することを目指している。
リアルタイム患者モニタリングやインテリジェントな交通管理といった実用的なユースケースを通じてその可能性を示す。
TSPとLLM管理のシナジーの探索は、AIとデータベース研究における画期的な発展を刺激することができる。
本稿では,この新興分野における課題と機会の包括的概観を提供し,今後の研究開発に向けたロードマップを提示する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - On the Multi-turn Instruction Following for Conversational Web Agents [83.51251174629084]
本稿では,ユーザと環境の両方で複数回にまたがる高度なインタラクションを必要とする,対話型Webナビゲーションの新たなタスクを紹介する。
本稿では,メモリ利用と自己回帰技術を用いた自己反射型メモリ拡張計画(Self-MAP)を提案する。
論文 参考訳(メタデータ) (2024-02-23T02:18:12Z) - Entropy-Regularized Token-Level Policy Optimization for Large Language
Models [76.02428537504323]
大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。
本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。
その結果,ETPO は CodeLlama-7B モデルで有効な性能向上を実現し,RLHF から受け継いだ変種 PPO ベースラインを超越していることがわかった。
論文 参考訳(メタデータ) (2024-02-09T07:45:26Z) - Large Language Model Adaptation for Networking [38.19277227027375]
NetLLMは、ネットワーク問題を解決するために大規模言語モデルを効率的に適応する最初のフレームワークである。
我々は、NetLLMがVPが10.1-36.6%、ABRが14.5-36.6%、CJSが6.8-41.3%、そして、優れた一般化性能を実現していることを示す。
論文 参考訳(メタデータ) (2024-02-04T04:21:34Z) - Towards Efficient Generative Large Language Model Serving: A Survey from
Algorithms to Systems [14.355768064425598]
生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。
しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。
本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
論文 参考訳(メタデータ) (2023-12-23T11:57:53Z) - Towards More Unified In-context Visual Understanding [77.03395229184238]
マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。
まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。
次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
論文 参考訳(メタデータ) (2023-12-05T06:02:21Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Enhancing Network Management Using Code Generated by Large Language
Models [15.557254786007325]
本稿では,大規模言語モデル(LLM)を用いて自然言語クエリからタスク固有コードを生成することにより,自然言語ベースのネットワーク管理エクスペリエンスを促進する新しいアプローチを提案する。
この方法は、ネットワークオペレーターが生成されたコードを検査できるようにすることで、説明可能性、スケーラビリティ、プライバシの課題に取り組む。
ベンチマークアプリケーションを用いてプロトタイプシステムを設計,評価し,高い精度,コスト効率,さらなる拡張の可能性を示す。
論文 参考訳(メタデータ) (2023-08-11T17:49:15Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。