論文の概要: A Blueprint Architecture of Compound AI Systems for Enterprise
- arxiv url: http://arxiv.org/abs/2406.00584v1
- Date: Sun, 2 Jun 2024 01:16:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 06:15:52.099462
- Title: A Blueprint Architecture of Compound AI Systems for Enterprise
- Title（参考訳）: 企業向け複合AIシステムの青写真アーキテクチャ
- Authors: Eser Kandogan, Sajjadur Rahman, Nikita Bhutani, Dan Zhang, Rafael Li Chen, Kushan Mitra, Sairam Gurajada, Pouya Pezeshkpour, Hayate Iso, Yanlin Feng, Hannah Kim, Chen Shen, Jin Wang, Estevam Hruschka,
- Abstract要約: 我々は、企業環境で運用する複合AIシステムのための青写真アーキテクチャを、費用対効果と実用性で導入する。
提案したアーキテクチャは,既存の計算とデータインフラストラクチャとのシームレスな統合を目標としています。
- 参考スコア（独自算出の注目度）: 18.109450556443782
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have showcased remarkable capabilities surpassing conventional NLP challenges, creating opportunities for use in production use cases. Towards this goal, there is a notable shift to building compound AI systems, wherein LLMs are integrated into an expansive software infrastructure with many components like models, retrievers, databases and tools. In this paper, we introduce a blueprint architecture for compound AI systems to operate in enterprise settings cost-effectively and feasibly. Our proposed architecture aims for seamless integration with existing compute and data infrastructure, with ``stream'' serving as the key orchestration concept to coordinate data and instructions among agents and other components. Task and data planners, respectively, break down, map, and optimize tasks and data to available agents and data sources defined in respective registries, given production constraints such as accuracy and latency.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、従来のNLPの課題を超え、実運用での使用機会を生み出している。
この目標に向けて、複合AIシステムの構築には注目すべきシフトがあり、LLMはモデルやレトリバー、データベース、ツールなど、多くのコンポーネントを備えた拡張可能なソフトウェアインフラストラクチャに統合される。
本稿では,複合型AIシステムのための青写真アーキテクチャを導入し,企業環境での運用を費用対効果で実現している。
提案アーキテクチャは,既存の計算およびデータインフラストラクチャとのシームレスな統合を目標としており,‘stream’’がデータや命令をエージェントや他のコンポーネント間で協調するための鍵となるオーケストレーション概念として機能している。
タスクとデータプランナはそれぞれ,それぞれのレジストリで定義された利用可能なエージェントとデータソースにタスクとデータを分割,マップ,最適化する。
関連論文リスト
- MG-Verilog: Multi-grained Dataset Towards Enhanced LLM-assisted Verilog Generation [16.836658183451764]
大規模言語モデル(LLM)は、ドメイン固有の膨大なデータをカプセル化することによって、ハードウェア設計プロセスの合理化を約束している。
既存の利用可能なハードウェアデータセットは、サイズ、複雑さ、詳細に制限されることが多い。
本稿では,多段階の詳細な記述と対応するコードサンプルを包含したMulti-Grained-Verilog(MG-Verilog)データセットを提案する。
論文 参考訳（メタデータ） (2024-07-02T03:21:24Z) - Institutional Platform for Secure Self-Service Large Language Model
Exploration [0.0]
論文では、データセットキュレーション、モデルトレーニング、セキュア推論、テキストベースの特徴抽出を含む、システムのアーキテクチャと重要な特徴について概説する。
プラットフォームはセキュアなLLMサービスの提供、プロセスとデータ分離の強調、エンドツーエンドの暗号化、ロールベースのリソース認証を目指している。
論文 参考訳（メタデータ） (2024-02-01T10:58:10Z) - Serving Deep Learning Model in Relational Databases [72.72372281808694]
リレーショナルデータ上での深層学習(DL)モデルの実現は、様々な商業分野や科学分野において重要な要件となっている。
最先端のDL-Centricアーキテクチャは、DL計算を専用のDLフレームワークにオフロードします。
UDF-Centricアーキテクチャは、データベースシステム内の1つ以上のテンソル計算をユーザ定義関数(UDF)にカプセル化する。
potentialRelation-Centricアーキテクチャは、演算子による大規模テンソル計算を表現することを目的としている。
論文 参考訳（メタデータ） (2023-10-07T06:01:35Z) - Bringing AI to the edge: A formal M&S specification to deploy effective
IoT architectures [0.0]
モノのインターネットは私たちの社会を変え、生活の質と資源管理を改善する新しいサービスを提供しています。
これらのアプリケーションは、限られたコンピューティングリソースとパワーを持つ、複数の分散デバイスのユビキタスネットワークに基づいている。
フォグコンピューティングのような新しいアーキテクチャが登場し、コンピューティング基盤をデータソースに近づけている。
論文 参考訳（メタデータ） (2023-05-11T21:29:58Z) - Policy Architectures for Compositional Generalization in Control [71.61675703776628]
本稿では,タスクにおけるエンティティベースの構成構造をモデル化するためのフレームワークを提案する。
私たちのポリシーは柔軟で、アクションプリミティブを必要とせずにエンドツーエンドでトレーニングできます。
論文 参考訳（メタデータ） (2022-03-10T06:44:24Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - CateCom: a practical data-centric approach to categorization of
computational models [77.34726150561087]
本稿では,物理モデルとデータ駆動型計算モデルのランドスケープを整理する取り組みについて述べる。
オブジェクト指向設計の概念を適用し、オープンソース協調フレームワークの基礎を概説する。
論文 参考訳（メタデータ） (2021-09-28T02:59:40Z) - A Data-Centric Framework for Composable NLP Workflows [109.51144493023533]
アプリケーションドメインにおける経験的自然言語処理システム(例えば、ヘルスケア、ファイナンス、教育)は、複数のコンポーネント間の相互運用を伴う。
我々は,このような高度なNLPの高速な開発を支援するために,統一的なオープンソースフレームワークを構築した。
論文 参考訳（メタデータ） (2021-03-02T16:19:44Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - CAAI -- A Cognitive Architecture to Introduce Artificial Intelligence in
Cyber-Physical Production Systems [1.5701326192371183]
CAAIは、サイバー物理生産システムにおける人工知能の認知アーキテクチャである。
CAAIの中核は、ユーザの宣言的な目標を処理する認知モジュールである。
パイプラインの性能を評価する性能基準に対する一定の観察と評価を行う。
論文 参考訳（メタデータ） (2020-02-26T16:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。