論文の概要: Are LLMs Correctly Integrated into Software Systems?

• arxiv url: http://arxiv.org/abs/2407.05138v2
• Date: Sat, 08 Feb 2025 08:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:27:44.342490
• Title: Are LLMs Correctly Integrated into Software Systems?
• Title（参考訳）: LLMはソフトウェアシステムに正しく統合されているか?
• Authors: Yuchen Shao, Yuheng Huang, Jiawei Shen, Lei Ma, Ting Su, Chengcheng Wan,
• Abstract要約: 大規模言語モデル(LLM)は、検索拡張生成(RAG)のサポートにより、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 LLMをRAGサポートに組み込んだ100のオープンソースアプリケーションを総合的に調査し、18の欠陥パターンを特定した。 私たちの調査によると、これらのアプリケーションの77%は、ソフトウェア機能、効率、セキュリティを低下させる3つのタイプの統合欠陥を含んでいる。
• 参考スコア（独自算出の注目度）: 6.588605888228515
• License:
• Abstract: Large language models (LLMs) provide effective solutions in various application scenarios, with the support of retrieval-augmented generation (RAG). However, developers face challenges in integrating LLM and RAG into software systems, due to lacking interface specifications, various requirements from software context, and complicated system management. In this paper, we have conducted a comprehensive study of 100 open-source applications that incorporate LLMs with RAG support, and identified 18 defect patterns. Our study reveals that 77% of these applications contain more than three types of integration defects that degrade software functionality, efficiency, and security. Guided by our study, we propose systematic guidelines for resolving these defects in software life cycle. We also construct an open-source defect library Hydrangea.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、検索拡張生成(RAG)のサポートにより、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 しかし、開発者は、インタフェース仕様の欠如、ソフトウェアコンテキストからの様々な要件、複雑なシステム管理のために、LLMとRAGをソフトウェアシステムに統合する際の課題に直面している。 本稿では,LLMをRAGサポートに組み込んだ100個のオープンソースアプリケーションについて総合的な研究を行い,その欠陥パターンを18個同定した。 私たちの調査によると、これらのアプリケーションの77%は、ソフトウェア機能、効率、セキュリティを低下させる3つのタイプの統合欠陥を含んでいる。 本研究は,ソフトウェアライフサイクルにおけるこれらの欠陥を解決するための体系的なガイドラインを提案する。 オープンソースの欠陥ライブラリHydrangeaも構築しています。

関連論文リスト

• Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework [58.36391985790157]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略に触発されたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-12-16T12:35:29Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
  Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。 Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
  論文  参考訳（メタデータ） (2024-11-01T14:27:16Z)
• Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products [21.486150701178154]
  大規模言語モデル(LLM)は、様々な産業にまたがるソフトウェア製品にますます組み込まれています。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。
  論文  参考訳（メタデータ） (2024-10-15T21:11:10Z)
• Seeker: Enhancing Exception Handling in Code with LLM-based Multi-Agent Approach [54.03528377384397]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略にインスパイアされたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• A State-of-the-practice Release-readiness Checklist for Generative AI-based Software Products [8.986278918477595]
  本稿では,大規模言語モデルをソフトウェア製品に統合することの複雑さを考察し,リリースの準備の整合性を決定する上で直面する課題に焦点をあてる。 グレー文献の体系的なレビューでは,事前学習から微調整,ユーザエクスペリエンスの考慮に至るまで,LCMのデプロイにおける一般的な課題が明確化されている。 この調査では,パフォーマンスや監視,デプロイメント戦略など,重要なリリース準備の面を評価する上で,実践者のガイドとして設計された包括的なチェックリストが紹介されている。
  論文  参考訳（メタデータ） (2024-03-27T19:02:56Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• LLM4SecHW: Leveraging Domain Specific Large Language Model for Hardware Debugging [4.297043877989406]
  本稿では,ドメイン固有大言語モデル(LLM)を利用したハードウェアデバッグのための新しいフレームワークを提案する。 我々は、オープンソースのハードウェア設計欠陥のデータセットとその修正手順をコンパイルするためのユニークなアプローチを提案する。 LLM4SecHWは、このデータセットに基づいて中規模のLCMを微調整し、ハードウェア設計におけるバグの特定と修正を可能にする。
  論文  参考訳（メタデータ） (2024-01-28T19:45:25Z)
• Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
  本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。 本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
  論文  参考訳（メタデータ） (2023-10-05T13:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。