論文の概要: Software Performance Engineering for Foundation Model-Powered Software (FMware)
- arxiv url: http://arxiv.org/abs/2411.09580v1
- Date: Thu, 14 Nov 2024 16:42:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-15 15:25:34.063277
- Title: Software Performance Engineering for Foundation Model-Powered Software (FMware)
- Title（参考訳）: ファンデーションモデル駆動ソフトウェア(FMware)のソフトウェア性能工学
- Authors: Haoxiang Zhang, Shi Chang, Arthur Leung, Kishanthan Thangarajah, Boyuan Chen, Hanan Lutfiyya, Ahmed E. Hassan,
- Abstract要約: 大規模言語モデル(LLM)のようなファンデーションモデル(FM)はソフトウェア開発に革命をもたらしています。
本稿では,FMウェアにおけるソフトウェア性能工学(SPE)の重要性を明らかにする。
認知アーキテクチャ設計、通信プロトコル、チューニングと最適化、デプロイメントの4つの主要な課題を特定します。
- 参考スコア（独自算出の注目度）: 6.283211168007636
- License:
- Abstract: The rise of Foundation Models (FMs) like Large Language Models (LLMs) is revolutionizing software development. Despite the impressive prototypes, transforming FMware into production-ready products demands complex engineering across various domains. A critical but overlooked aspect is performance engineering, which aims at ensuring FMware meets performance goals such as throughput and latency to avoid user dissatisfaction and financial loss. Often, performance considerations are an afterthought, leading to costly optimization efforts post-deployment. FMware's high computational resource demands highlight the need for efficient hardware use. Continuous performance engineering is essential to prevent degradation. This paper highlights the significance of Software Performance Engineering (SPE) in FMware, identifying four key challenges: cognitive architecture design, communication protocols, tuning and optimization, and deployment. These challenges are based on literature surveys and experiences from developing an in-house FMware system. We discuss problems, current practices, and innovative paths for the software engineering community.
- Abstract（参考訳）: 大規模言語モデル(LLM)のようなファンデーションモデル(FM)の台頭は、ソフトウェア開発に革命をもたらしています。
印象的なプロトタイプにもかかわらず、FMwareをプロダクション対応製品に変換するには、さまざまな領域にわたる複雑なエンジニアリングが必要だ。
これは、FMwareがスループットやレイテンシといったパフォーマンス上の目標を満たすことを保証することを目的としており、ユーザの不満や財務的損失を避けることを目的としている。
多くの場合、パフォーマンスの考慮は後回しであり、デプロイ後のコストのかかる最適化作業につながります。
FMwareの高計算リソース要求は、効率的なハードウェア使用の必要性を強調している。
継続的パフォーマンスエンジニアリングは、劣化を防ぐために不可欠です。
本稿では、FMウェアにおけるソフトウェアパフォーマンスエンジニアリング(SPE)の重要性を強調し、認知アーキテクチャ設計、通信プロトコル、チューニングと最適化、デプロイメントの4つの主要な課題を特定する。
これらの課題は、社内のFMウェアシステムを開発する際の文献調査と経験に基づいている。
私たちは、ソフトウェアエンジニアリングコミュニティにおける問題、現在のプラクティス、革新的なパスについて議論します。
関連論文リスト
- Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。
Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
論文 参考訳（メタデータ） (2024-11-01T14:27:16Z) - From Cool Demos to Production-Ready FMware: Core Challenges and a Technology Roadmap [12.313710667597897]
ファウンデーションモデル(FM)の急速な拡張により、FMをコアコンポーネントとして統合するソフトウェアシステム(FMware--software system)が台頭した。
プロダクション対応システムへの移行には、信頼性、高い実装コスト、スケーラビリティ、プライバシ規制の遵守など、数多くの課題がある。
FM選択、データとモデルのアライメント、プロンプトエンジニアリング、エージェントオーケストレーション、システムテスト、デプロイメントにおける重要な問題と、メモリ管理、可観測性、フィードバック統合といった横断的な関心事について識別する。
論文 参考訳（メタデータ） (2024-10-28T07:16:00Z) - Foundation Model Engineering: Engineering Foundation Models Just as Engineering Software [8.14005646330662]
Foundation Models (FM) は、データとモデルをソースコードとして扱うことで、新しいタイプのソフトウェアになる。
我々は、期待されるFM危機に対する戦略的対応であるファンデーションモデル(FM)エンジニアリングを導入するというビジョンを概説する。
論文 参考訳（メタデータ） (2024-07-11T04:40:02Z) - Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。
継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。
我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文 参考訳（メタデータ） (2024-06-24T15:45:22Z) - Prioritizing Software Requirements Using Large Language Models [3.9422957660677476]
この記事では、ソフトウェア開発の初期段階と見なされる要件エンジニアリングに焦点を当てます。
要件を特定し、時間と予算の制約の中ですべての利害関係者を満たすという課題は、依然として重要なままです。
本研究では、AIエージェントを利用したWebベースのソフトウェアツールを導入し、タスクの優先順位付けを自動化するエンジニアリングを促す。
論文 参考訳（メタデータ） (2024-04-05T15:20:56Z) - Rethinking Software Engineering in the Foundation Model Era: A Curated
Catalogue of Challenges in the Development of Trustworthy FMware [13.21876203209586]
企業FMware開発を非生産的でコストがかかり、リスクが高いものにした、SE4FMwareの10つの重要な課題を特定します。
我々はFMArtsを紹介します。これは、信頼できるFMウェアのエンジニアリングのためのクレードル・ツー・グラブプラットフォームを構築するための長期的な取り組みです。
論文 参考訳（メタデータ） (2024-02-25T00:53:16Z) - Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。
本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
論文 参考訳（メタデータ） (2023-10-05T13:33:26Z) - Embedded Software Development with Digital Twins: Specific Requirements
for Small and Medium-Sized Enterprises [55.57032418885258]
デジタル双生児は、コスト効率の良いソフトウェア開発とメンテナンス戦略の可能性を秘めている。
私たちは中小企業に現在の開発プロセスについてインタビューした。
最初の結果は、リアルタイムの要求が、これまでは、Software-in-the-Loop開発アプローチを妨げていることを示している。
論文 参考訳（メタデータ） (2023-09-17T08:56:36Z) - Empowered and Embedded: Ethics and Agile Processes [60.63670249088117]
私たちは倫理的考慮事項を(アジャイル)ソフトウェア開発プロセスに組み込む必要があると論じています。
私たちは、すでに存在しており、確立されたアジャイルソフトウェア開発プロセスで倫理的な議論を実施する可能性を強調しました。
論文 参考訳（メタデータ） (2021-07-15T11:14:03Z) - Technology Readiness Levels for Machine Learning Systems [107.56979560568232]
機械学習システムの開発とデプロイは、現代のツールで簡単に実行できますが、プロセスは一般的に急ぎ、エンドツーエンドです。
私たちは、機械学習の開発と展開のための実証済みのシステムエンジニアリングアプローチを開発しました。
当社の「機械学習技術準備レベル」フレームワークは、堅牢で信頼性が高く、責任あるシステムを確保するための原則的なプロセスを定義します。
論文 参考訳（メタデータ） (2021-01-11T15:54:48Z) - Technology Readiness Levels for AI & ML [79.22051549519989]
機械学習システムの開発は、現代的なツールで容易に実行できるが、プロセスは通常急いで、エンドツーエンドで実行される。
エンジニアリングシステムは、高品質で信頼性の高い結果の開発を効率化するために、明確に定義されたプロセスとテスト標準に従います。
我々は、機械学習の開発と展開のための実証されたシステムエンジニアリングアプローチを提案する。
論文 参考訳（メタデータ） (2020-06-21T17:14:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。