論文の概要: A Taxonomy of Foundation Model based Systems through the Lens of
Software Architecture
- arxiv url: http://arxiv.org/abs/2305.05352v6
- Date: Mon, 22 Jan 2024 04:15:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 21:48:49.656011
- Title: A Taxonomy of Foundation Model based Systems through the Lens of
Software Architecture
- Title(参考訳): ソフトウェアアーキテクチャのレンズによる基礎モデルに基づくシステムの分類
- Authors: Qinghua Lu, Liming Zhu, Xiwei Xu, Yue Liu, Zhenchang Xing, Jon Whittle
- Abstract要約: 本稿では,基礎モデルと設計オプションの特徴を分類・比較する基礎モデルベースシステムの分類法を提案する。
我々の分類学は、基礎モデルの事前学習と適応、基礎モデルに基づくシステムのアーキテクチャ設計、そして責任あるAI・バイ・デザインの3つのカテゴリから構成される。
- 参考スコア(独自算出の注目度): 35.20191493188642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent release of large language model (LLM) based chatbots, such as
ChatGPT, has attracted huge interest in foundation models. It is widely
believed that foundation models will serve as the fundamental building blocks
for future AI systems. As foundation models are in their early stages, the
design of foundation model based systems has not yet been systematically
explored. There is limited understanding about the impact of introducing
foundation models in software architecture. Therefore, in this paper, we
propose a taxonomy of foundation model based systems, which classifies and
compares the characteristics of foundation models and design options of
foundation model based systems. Our taxonomy comprises three categories: the
pretraining and adaptation of foundation models, the architecture design of
foundation model based systems, and responsible-AI-by-design. This taxonomy can
serve as concrete guidance for making major architectural design decisions when
designing foundation model based systems and highlights trade-offs arising from
design decisions.
- Abstract(参考訳): 大規模言語モデル(LLM)ベースのチャットボット(ChatGPTなど)の最近のリリースは、基礎モデルに大きな関心を集めている。
基盤モデルが将来のaiシステムの基本的な構成要素となると広く信じられている。
基礎モデルが初期段階にあるため、基礎モデルに基づくシステムの設計はまだ体系的に検討されていない。
ソフトウェアアーキテクチャに基礎モデルを導入することの影響についての理解は限られている。
そこで本稿では,基礎モデルに基づくシステムの特徴と基礎モデルに基づくシステムの設計オプションを分類・比較する基礎モデルに基づくシステムの分類手法を提案する。
我々の分類学は、基礎モデルの事前学習と適応、基礎モデルに基づくシステムのアーキテクチャ設計、責任ある設計の3つのカテゴリからなる。
この分類は、基礎モデルに基づくシステムを設計する際に主要なアーキテクチャ設計決定を行うための具体的なガイダンスとなり、設計決定から生じるトレードオフを強調することができる。
関連論文リスト
- Object-Oriented Architecture: A Software Engineering-Inspired Shape Grammar for Durands Plates [0.4532517021515834]
焦点は、フランスの新古典主義建築家ジャン=ニコラ=ルイ・デュランの様式による板のモジュラー化である。
提案手法は、デュランの原版に固有の論理を固執しつつ、多様なデザインを創出することができる。
論文 参考訳(メタデータ) (2024-04-20T11:51:05Z) - On a Foundation Model for Operating Systems [36.17124600729315]
本稿では,オペレーティングシステム(OS)のドメイン固有基盤モデルの研究課題について概説する。
基礎モデルの場合,CPU,メモリ,ネットワークサブシステムなどのOSコンポーネントが相互に関連しているという観測を中心に展開する。
OSトレースは、多様なOSコンポーネントの複雑さを把握するための基盤モデルのための理想的なデータセットを提供する。
論文 参考訳(メタデータ) (2023-12-13T00:23:22Z) - Towards Responsible Generative AI: A Reference Architecture for Designing Foundation Model based Agents [28.406492378232695]
ファンデーションモデルに基づくエージェントは、ファンデーションモデルの能力から自律性を引き出す。
本稿では,基礎モデルに基づくエージェントの設計におけるガイダンスとして機能するパターン指向参照アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-11-22T04:21:47Z) - Compositional Foundation Models for Hierarchical Planning [52.18904315515153]
本稿では,言語,視覚,行動データを個別に訓練し,長期的課題を解決するための基礎モデルを提案する。
我々は,大規模なビデオ拡散モデルを用いて,環境に根ざした記号的計画を構築するために,大規模言語モデルを用いている。
生成したビデオプランは、生成したビデオからアクションを推論する逆ダイナミクスモデルを通じて、視覚運動制御に基礎を置いている。
論文 参考訳(メタデータ) (2023-09-15T17:44:05Z) - ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model
Reuse [59.500060790983994]
本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。
ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
論文 参考訳(メタデータ) (2023-08-17T19:12:13Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳(メタデータ) (2023-05-18T16:28:29Z) - Towards Responsible AI in the Era of Generative AI: A Reference
Architecture for Designing Foundation Model based Systems [30.926608852387957]
ファンデーションモデルが将来のAIシステムの基本的なビルディングブロックになる、という広いコンセンサスがある。
ファンデーションモデルの急速に成長する能力は、最終的にはAIシステムの他のコンポーネントを吸収することができる。
基礎モデルをAIシステムに組み込むことは、責任あるAIに関する重要な懸念を提起する。
本稿では,基礎モデルに基づくシステム設計のためのパターン指向参照アーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-04-13T05:01:03Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z) - Decision Models for Selecting Federated Learning Architecture Patterns [7.468413169676602]
フェデレートされた機械学習アーキテクチャ設計のためのパターン選択のための一連の決定モデルを提案する。
各決定モデルは、フェデレートされた機械学習システムの機能的および非機能的要件を一連のパターンにマッピングする。
論文 参考訳(メタデータ) (2022-04-28T05:07:26Z) - On the Opportunities and Risks of Foundation Models [256.61956234436553]
これらのモデルの基礎モデルは、批判的に中心的だが不完全な性格を根底から立証するものです。
本報告では,基礎モデルの可能性とリスクについて概説する。
これらの疑問に対処するためには、基礎モデルに関する重要な研究の多くは、深い学際的なコラボレーションが必要であると信じている。
論文 参考訳(メタデータ) (2021-08-16T17:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。