論文の概要: Towards a Middleware for Large Language Models
- arxiv url: http://arxiv.org/abs/2411.14513v1
- Date: Thu, 21 Nov 2024 13:55:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:04:34.803747
- Title: Towards a Middleware for Large Language Models
- Title(参考訳): 大規模言語モデルのためのミドルウェアを目指して
- Authors: Narcisa Guran, Florian Knauf, Man Ngo, Stefan Petrescu, Jan S. Rellermeyer,
- Abstract要約: 大規模言語モデルは自然言語入力を処理する能力で広く普及している。
この進歩は、世界中の企業がLLMをサービスに統合するきっかけとなった。
テクノロジが成熟するにつれて、"LLM as a Service"をセルフホストすることで、主要なクラウドプロバイダからの独立に対する強いインセンティブが生まれます。
- 参考スコア(独自算出の注目度): 3.491539485256461
- License:
- Abstract: Large language models have gained widespread popularity for their ability to process natural language inputs and generate insights derived from their training data, nearing the qualities of true artificial intelligence. This advancement has prompted enterprises worldwide to integrate LLMs into their services. So far, this effort is dominated by commercial cloud-based solutions like OpenAI's ChatGPT and Microsoft Azure. As the technology matures, however, there is a strong incentive for independence from major cloud providers through self-hosting "LLM as a Service", driven by privacy, cost, and customization needs. In practice, hosting LLMs independently presents significant challenges due to their complexity and integration issues with existing systems. In this paper, we discuss our vision for a forward-looking middleware system architecture that facilitates the deployment and adoption of LLMs in enterprises, even for advanced use cases in which we foresee LLMs to serve as gateways to a complete application ecosystem and, to some degree, absorb functionality traditionally attributed to the middleware.
- Abstract(参考訳): 大規模言語モデルは、自然言語入力を処理し、トレーニングデータから得られた洞察を、真の人工知能の質に近づいたことで広く普及している。
この進歩は、世界中の企業がLLMをサービスに統合するきっかけとなった。
これまでのところ、この取り組みはOpenAIのChatGPTやMicrosoft Azureのような商用クラウドベースのソリューションに支配されている。
しかし、技術が成熟するにつれて、プライバシ、コスト、カスタマイズのニーズによって駆動されるセルフホストの"LLM as a Service"を通じて、主要なクラウドプロバイダからの独立に対する強いインセンティブが生まれます。
実際には、LLMのホスティングは、既存のシステムとの複雑性と統合の問題により、独立して重要な課題を提起する。
本稿では,企業におけるLCMの展開と導入を促進する,先進的なミドルウェアシステムアーキテクチャへのビジョンについて論じる。
関連論文リスト
- Large Action Models: From Inception to Implementation [51.81485642442344]
大規模アクションモデル(LAM)は動的環境内でのアクション生成と実行のために設計されている。
LAMは、AIを受動的言語理解からアクティブなタスク完了に変換する可能性を秘めている。
創発から展開まで,LAMを体系的に開発するための総合的なフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-13T11:19:56Z) - LLM-based Multi-Agent Systems: Techniques and Business Perspectives [26.74974842247119]
マルチモーダル (multi-modal) な大規模言語モデルの時代において、ほとんどの操作プロセスは LLM エージェントを使って再構成および再生することができる。
発達の自然なトレンドとして、呼び出しツールは自律的なエージェントになりつつあるため、完全なインテリジェントシステムはLLMベースのマルチエージェントシステム(LaMAS)であることが判明した。
従来の単一LLMエージェントシステムと比較して、LaMASは、動的タスク分解と有機的特殊化の利点、システム変更の柔軟性の向上、および、各エンティティに対する収益化の実現可能性を有する。
論文 参考訳(メタデータ) (2024-11-21T11:36:29Z) - When IoT Meet LLMs: Applications and Challenges [0.5461938536945723]
大規模言語モデル(LLM)がIoT(Internet of Things)における高度な意思決定とコンテキスト理解をいかに促進するかを示す。
これは、エッジ、フォグ、クラウドシステム間のIoT-LLM統合に関する最初の包括的な研究である。
産業用IoTアプリケーションのための新しいシステムモデルを提案する。
論文 参考訳(メタデータ) (2024-11-20T23:44:51Z) - Dynamic Fog Computing for Enhanced LLM Execution in Medical Applications [1.0500536774309863]
大きな言語モデル(LLM)は、大量の異種データを変換し、解釈し、理解することができる。
保護された健康情報(PHI)の繊細な性質は、データプライバシとリモートLLMプラットフォームへの信頼に関する有効な懸念を提起する。
我々は,LLM実行環境を,不透明で集中型のクラウドプロバイダから分散型の動的フォグコンピューティングアーキテクチャに移行することを提案する。
論文 参考訳(メタデータ) (2024-08-08T04:49:21Z) - Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。
提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
論文 参考訳(メタデータ) (2024-08-07T08:43:32Z) - A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。
本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳(メタデータ) (2024-08-02T15:14:53Z) - LEGENT: Open Platform for Embodied Agents [60.71847900126832]
LEGENTはLarge Language Models (LLM) とLarge Multimodal Models (LMM) を用いたエンボディエージェントを開発するためのオープンでスケーラブルなプラットフォームである。
LEGENTはリッチでインタラクティブな3D環境を提供し、コミュニケーション可能でアクション可能なエージェントをユーザフレンドリーなインターフェースと組み合わせている。
実験では、EGENT生成データに基づいて訓練された胚性視覚言語モデルが、エンボディタスクにおいてGPT-4Vを超える。
論文 参考訳(メタデータ) (2024-04-28T16:50:12Z) - LLMs as On-demand Customizable Service [8.440060524215378]
階層型分散大言語モデル(LLM)の概念を導入する。
階層型アプローチを導入することで、LLMをカスタマイズ可能なサービスとしてオンデマンドでアクセスできるようにする。
階層型 LLM の概念は,LLM の能力を活用するために,広範かつクラウドソースのユーザ基盤を向上すると考えられる。
論文 参考訳(メタデータ) (2024-01-29T21:24:10Z) - FATE-LLM: A Industrial Grade Federated Learning Framework for Large
Language Models [18.65547577691255]
大規模言語モデル(LLM)は近年,様々なタスクにおいて顕著なパフォーマンスを示している。
FATE-LLMは、大規模言語モデルのための産業レベルの連邦学習フレームワークである。
我々は、FedLLMの研究を促進するためにFATE-LLMのコードをリリースし、幅広い産業応用を可能にする。
論文 参考訳(メタデータ) (2023-10-16T04:17:13Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳(メタデータ) (2023-10-04T20:27:20Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。