論文の概要: Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products

• arxiv url: http://arxiv.org/abs/2410.12071v1
• Date: Tue, 15 Oct 2024 21:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:36.584744
• Title: Beyond the Comfort Zone: Emerging Solutions to Overcome Challenges in Integrating LLMs into Software Products
• Title（参考訳）: 快適ゾーンを超えて - LLMをソフトウェア製品に統合する上での課題を克服するための新たなソリューション
• Authors: Nadia Nahar, Christian Kästner, Jenna Butler, Chris Parnin, Thomas Zimmermann, Christian Bird,
• Abstract要約: 大規模言語モデル(LLM)は、様々な産業にまたがるソフトウェア製品にますます組み込まれています。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。
• 参考スコア（独自算出の注目度）: 21.486150701178154
• License:
• Abstract: Large Language Models (LLMs) are increasingly embedded into software products across diverse industries, enhancing user experiences, but at the same time introducing numerous challenges for developers. Unique characteristics of LLMs force developers, who are accustomed to traditional software development and evaluation, out of their comfort zones as the LLM components shatter standard assumptions about software systems. This study explores the emerging solutions that software developers are adopting to navigate the encountered challenges. Leveraging a mixed-method research, including 26 interviews and a survey with 332 responses, the study identifies 19 emerging solutions regarding quality assurance that practitioners across several product teams at Microsoft are exploring. The findings provide valuable insights that can guide the development and evaluation of LLM-based products more broadly in the face of these challenges.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな産業にまたがるソフトウェア製品に徐々に組み込まれ、ユーザエクスペリエンスを高めつつ、同時に、開発者に多くの課題を導入しています。 LLMの独特な特徴は、従来のソフトウェア開発と評価に慣れている開発者は、LLMコンポーネントがソフトウェアシステムに関する標準的な前提を破滅させるため、快適な領域から抜け出すことを強いる。 この研究では、ソフトウェア開発者が直面した課題をナビゲートするために採用している、新たなソリューションについて検討する。 26のインタビューや32の回答を含む混合メソッドの研究を活用して、この調査では、Microsoftの複数のプロダクトチームにわたる実践者が探求している品質保証に関する19の新たなソリューションを特定している。 これらの課題に直面してLLMベースの製品の開発と評価をより広範囲に導くための貴重な洞察を提供する。

関連論文リスト

• Seeker: Enhancing Exception Handling in Code with LLM-based Multi-Agent Approach [54.03528377384397]
  現実世界のソフトウェア開発では、不適切な例外処理がコードの堅牢性と信頼性に重大な影響を与えます。 コードにおける例外処理を改善するために,大規模言語モデル (LLM) の利用について検討する。 例外処理のエキスパート開発者戦略にインスパイアされたマルチエージェントフレームワークであるSeekerを提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:45:45Z)
• An Overview and Catalogue of Dependency Challenges in Open Source Software Package Registries [52.23798016734889]
  この記事では、OSSパッケージやライブラリに依存する依存関係関連の課題のカタログを提供する。 このカタログは、これらの課題を理解し、定量化し、克服するために行われた経験的研究に関する科学文献に基づいている。
  論文  参考訳（メタデータ） (2024-09-27T16:20:20Z)
• An Empirical Study on Challenges for LLM Developers [28.69628251749012]
  私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
  論文  参考訳（メタデータ） (2024-08-06T05:46:28Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Vortex under Ripplet: An Empirical Study of RAG-enabled Applications [6.588605888228515]
  検索拡張生成(RAG)によって強化された大規模言語モデル(LLM)は、様々なアプリケーションシナリオにおいて効果的なソリューションを提供する。 RAG強化LPMを組み込んだ100のオープンソースアプリケーションとその問題レポートを手作業で検討した。 アプリケーションの98%以上には、ソフトウェア機能、効率、セキュリティを害する複数の統合欠陥が含まれていることが分かりました。
  論文  参考訳（メタデータ） (2024-07-06T17:25:11Z)
• Agent-Driven Automatic Software Improvement [55.2480439325792]
  本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。 継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。 我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
  論文  参考訳（メタデータ） (2024-06-24T15:45:22Z)
• A State-of-the-practice Release-readiness Checklist for Generative AI-based Software Products [8.986278918477595]
  本稿では,大規模言語モデルをソフトウェア製品に統合することの複雑さを考察し,リリースの準備の整合性を決定する上で直面する課題に焦点をあてる。 グレー文献の体系的なレビューでは,事前学習から微調整,ユーザエクスペリエンスの考慮に至るまで,LCMのデプロイにおける一般的な課題が明確化されている。 この調査では,パフォーマンスや監視,デプロイメント戦略など,重要なリリース準備の面を評価する上で,実践者のガイドとして設計された包括的なチェックリストが紹介されている。
  論文  参考訳（メタデータ） (2024-03-27T19:02:56Z)
• DevBench: A Comprehensive Benchmark for Software Development [72.24266814625685]
  DevBenchは、ソフトウェア開発ライフサイクルのさまざまな段階にわたる大規模言語モデル(LLM)を評価するベンチマークである。 GPT-4-Turboを含む現在のLLMは、DevBench内での課題の解決に失敗している。 本研究は,LLMを現実のプログラミングアプリケーションに展開する上で,現実的な知見を提供するものである。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• Large Language Models for Software Engineering: Survey and Open Problems [35.29302720251483]
  本稿では,ソフトウェア工学(SE)におけるLarge Language Models(LLMs)の新しい領域について調査する。 本調査では,ハイブリッド技術(従来のSE+LLM)が,信頼性,効率,効率のよいLLMベースのSEの開発と展開において果たすべき重要な役割を明らかにした。
  論文  参考訳（メタデータ） (2023-10-05T13:33:26Z)
• Software Testing with Large Language Models: Survey, Landscape, and Vision [32.34617250991638]
  事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。 本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
  論文  参考訳（メタデータ） (2023-07-14T08:26:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。