論文の概要: Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products

• arxiv url: http://arxiv.org/abs/2410.12071v1
• Date: Tue, 15 Oct 2024 21:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:36.584744
• Title: Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products
• Title（参考訳）: 快適ゾーンを超えて - LLMをソフトウェア製品に統合する上での課題を克服するための新たなソリューション
• Authors: Nadia Nahar, Christian Kästner, Jenna Butler, Chris Parnin, Thomas Zimmermann, Christian Bird,
• Abstract要約: 大規模言語モデル(LLM)は、様々な産業にまたがるソフトウェア製品にますます組み込まれています。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。
• 参考スコア（独自算出の注目度）: 21.486150701178154
• License:
• Abstract: Large Language Models (LLMs) are increasingly embedded into software products across diverse industries, enhancing user experiences, but at the same time introducing numerous challenges for developers. Unique characteristics of LLMs force developers, who are accustomed to traditional software development and evaluation, out of their comfort zones as the LLM components shatter standard assumptions about software systems. This study explores the emerging solutions that software developers are adopting to navigate the encountered challenges. Leveraging a mixed-method research, including 26 interviews and a survey with 332 responses, the study identifies 19 emerging solutions regarding quality assurance that practitioners across several product teams at Microsoft are exploring. The findings provide valuable insights that can guide the development and evaluation of LLM-based products more broadly in the face of these challenges.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな産業にまたがるソフトウェア製品に徐々に組み込まれ、ユーザエクスペリエンスを高めつつ、同時に、開発者に多くの課題を導入しています。 LLMの独特な特徴は、従来のソフトウェア開発と評価に慣れている開発者は、LLMコンポーネントがソフトウェアシステムに関する標準的な前提を破滅させるため、快適な領域から抜け出すことを強いる。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。 26のインタビューや32の回答を含む混合メソッドの研究を活用して、この調査では、Microsoftの複数のプロダクトチームにわたる実践者が探求している品質保証に関する19の新たなソリューションを特定している。 これらの課題に直面してLLMベースの製品の開発と評価をより広範囲に導くための貴重な洞察を提供する。

関連論文リスト

• Seeker: Enhancing Exception Handling in Code with LLM-based Multi-Agent Approach [54.03528377384397]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略にインスパイアされたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)
• An Overview and Catalogue of Dependency Challenges in Open Source Software Package Registries [52.23798016734889]
  この記事では、OSSパッケージやライブラリに依存する依存関係関連の課題のカタログを提供する。 このカタログは、これらの課題を理解し、定量化し、克服するために行われた経験的研究に関する科学文献に基づいている。
  論文  参考訳（メタデータ） (2024-09-27T16:20:20Z)
• An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
  私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
  論文  参考訳（メタデータ） (2024-08-06T05:46:28Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Are LLMs Correctly Integrated into Software Systems? [6.588605888228515]
  大規模言語モデル(LLM)は、検索拡張生成(RAG)のサポートにより、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 LLMをRAGサポートに組み込んだ100のオープンソースアプリケーションを総合的に調査し、18の欠陥パターンを特定した。 私たちの調査によると、これらのアプリケーションの77%は、ソフトウェア機能、効率、セキュリティを低下させる3つのタイプの統合欠陥を含んでいる。
  論文  参考訳（メタデータ） (2024-07-06T17:25:11Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• A State-of-the-practice Release-readiness Checklist for Generative AI-based Software Products [8.986278918477595]
  本稿では,大規模言語モデルをソフトウェア製品に統合することの複雑さを考察し,リリースの準備の整合性を決定する上で直面する課題に焦点をあてる。 グレー文献の体系的なレビューでは,事前学習から微調整,ユーザエクスペリエンスの考慮に至るまで,LCMのデプロイにおける一般的な課題が明確化されている。 この調査では,パフォーマンスや監視,デプロイメント戦略など,重要なリリース準備の面を評価する上で,実践者のガイドとして設計された包括的なチェックリストが紹介されている。
  論文  参考訳（メタデータ） (2024-03-27T19:02:56Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)
• Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
  本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。 本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
  論文  参考訳（メタデータ） (2023-10-05T13:33:26Z)
• Software Testing with Large Language Models: Survey, Landscape, and Vision [32.34617250991638]
  事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。 本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
  論文  参考訳（メタデータ） (2023-07-14T08:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。