論文の概要: Vortex under Ripplet: An Empirical Study of RAG-enabled Applications

• arxiv url: http://arxiv.org/abs/2407.05138v1
• Date: Sat, 6 Jul 2024 17:25:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 20:58:28.714283
• Title: Vortex under Ripplet: An Empirical Study of RAG-enabled Applications
• Title（参考訳）: Ripplet下での渦 : RAG対応の実証研究
• Authors: Yuchen Shao, Yuheng Huang, Jiawei Shen, Lei Ma, Ting Su, Chengcheng Wan,
• Abstract要約: 検索拡張生成(RAG)によって強化された大規模言語モデル(LLM)は、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 RAG強化LPMを組み込んだ100のオープンソースアプリケーションとその問題レポートを手作業で検討した。 アプリケーションの98%以上には、ソフトウェア機能、効率、セキュリティを害する複数の統合欠陥が含まれていることが分かりました。
• 参考スコア（独自算出の注目度）: 6.588605888228515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) enhanced by retrieval-augmented generation (RAG) provide effective solutions in various application scenarios. However, developers face challenges in integrating RAG-enhanced LLMs into software systems, due to lack of interface specification, requirements from software context, and complicated system management. In this paper, we manually studied 100 open-source applications that incorporate RAG-enhanced LLMs, and their issue reports. We have found that more than 98% of applications contain multiple integration defects that harm software functionality, efficiency, and security. We have also generalized 19 defect patterns and proposed guidelines to tackle them. We hope this work could aid LLM-enabled software development and motivate future research.
• Abstract（参考訳）: 検索拡張生成(RAG)によって強化された大規模言語モデル(LLM)は、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 しかしながら開発者は、インターフェース仕様の欠如、ソフトウェアコンテキストからの要求、複雑なシステム管理のために、RAGに強化されたLLMをソフトウェアシステムに統合する際の課題に直面している。 本稿では,RAG強化LLMを組み込んだ100のオープンソースアプリケーションとその問題報告について手動で検討した。 アプリケーションの98%以上には、ソフトウェア機能、効率、セキュリティを害する複数の統合欠陥が含まれていることが分かりました。 また、19の欠陥パターンを一般化し、それに取り組むためのガイドラインを提案しました。 この取り組みがLLM対応のソフトウェア開発を支援し、将来の研究の動機になることを期待しています。

関連論文リスト

• Seeker: Towards Exception Safety Code Generation with Intermediate Language Agents Framework [58.36391985790157]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略に触発されたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-12-16T12:35:29Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
  Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。 Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
  論文  参考訳（メタデータ） (2024-11-01T14:27:16Z)
• Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products [21.486150701178154]
  大規模言語モデル(LLM)は、様々な産業にまたがるソフトウェア製品にますます組み込まれています。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。
  論文  参考訳（メタデータ） (2024-10-15T21:11:10Z)
• Seeker: Enhancing Exception Handling in Code with LLM-based Multi-Agent Approach [54.03528377384397]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略にインスパイアされたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• A State-of-the-practice Release-readiness Checklist for Generative AI-based Software Products [8.986278918477595]
  本稿では,大規模言語モデルをソフトウェア製品に統合することの複雑さを考察し,リリースの準備の整合性を決定する上で直面する課題に焦点をあてる。 グレー文献の体系的なレビューでは,事前学習から微調整,ユーザエクスペリエンスの考慮に至るまで,LCMのデプロイにおける一般的な課題が明確化されている。 この調査では,パフォーマンスや監視,デプロイメント戦略など,重要なリリース準備の面を評価する上で,実践者のガイドとして設計された包括的なチェックリストが紹介されている。
  論文  参考訳（メタデータ） (2024-03-27T19:02:56Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• LLM4SecHW: Leveraging Domain Specific Large Language Model for Hardware Debugging [4.297043877989406]
  本稿では,ドメイン固有大言語モデル(LLM)を利用したハードウェアデバッグのための新しいフレームワークを提案する。 我々は、オープンソースのハードウェア設計欠陥のデータセットとその修正手順をコンパイルするためのユニークなアプローチを提案する。 LLM4SecHWは、このデータセットに基づいて中規模のLCMを微調整し、ハードウェア設計におけるバグの特定と修正を可能にする。
  論文  参考訳（メタデータ） (2024-01-28T19:45:25Z)
• Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
  本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。 本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
  論文  参考訳（メタデータ） (2023-10-05T13:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。