論文の概要: An Empirical Study on Challenges for LLM Application Developers

• arxiv url: http://arxiv.org/abs/2408.05002v3
• Date: Sat, 23 Nov 2024 14:19:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:38.398452
• Title: An Empirical Study on Challenges for LLM Application Developers
• Title（参考訳）: LLMアプリケーション開発者の挑戦に関する実証的研究
• Authors: Xiang Chen, Chaoyang Gao, Chunyang Chen, Guangbei Zhang, Yong Liu,
• Abstract要約: 私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
• 参考スコア（独自算出の注目度）: 28.69628251749012
• License:
• Abstract: In recent years, large language models (LLMs) have seen rapid advancements, significantly impacting various fields such as computer vision, natural language processing, and software engineering. These LLMs, exemplified by OpenAI's ChatGPT, have revolutionized the way we approach language understanding and generation tasks. However, in contrast to traditional software development practices, LLM development introduces new challenges for AI developers in design, implementation, and deployment. These challenges span different areas (such as prompts, APIs, and plugins), requiring developers to navigate unique methodologies and considerations specific to LLM application development. Despite the profound influence of LLMs, to the best of our knowledge, these challenges have not been thoroughly investigated in previous empirical studies. To fill this gap, we present the first comprehensive study on understanding the challenges faced by LLM developers. Specifically, we crawl and analyze 29,057 relevant questions from a popular OpenAI developer forum. We first examine their popularity and difficulty. After manually analyzing 2,364 sampled questions, we construct a taxonomy of challenges faced by LLM developers. Based on this taxonomy, we summarize a set of findings and actionable implications for LLM-related stakeholders, including developers and providers (especially the OpenAI organization).
• Abstract（参考訳）: 近年、大規模言語モデル(LLM)は急速に進歩し、コンピュータビジョン、自然言語処理、ソフトウェア工学といった様々な分野に大きな影響を与えた。 OpenAIのChatGPTによって実証されたこれらのLLMは、言語理解と生成タスクへのアプローチ方法に革命をもたらした。 しかしながら、従来のソフトウェア開発プラクティスとは対照的に、LLM開発では、設計、実装、デプロイメントにおいてAI開発者にとって新たな課題が導入されている。 これらの課題はさまざまな領域(プロンプト、API、プラグインなど)にまたがっており、開発者は独自の方法論やLLMアプリケーション開発に関する考慮をナビゲートする必要がある。 LLMの強い影響にもかかわらず、我々の知る限りでは、これらの課題は過去の実証研究では十分に研究されていない。 このギャップを埋めるために、LLM開発者が直面している課題を理解するための、最初の包括的な研究を紹介する。 具体的には、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 私たちはまず彼らの人気と難しさを調べます。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。 この分類に基づいて、開発者や提供者(特にOpenAI組織)を含むLCM関連ステークホルダーに対する一連の発見と行動可能な意味を要約する。

関連論文リスト

• Developer Challenges on Large Language Models: A Study of Stack Overflow and OpenAI Developer Forum Posts [2.704899832646869]
  大規模言語モデル(LLM)は、様々なドメインにまたがる例外的な機能のために広く普及している。 本研究は,Stack OverflowとOpenAI Developer Forum上でのコミュニティインタラクションを分析することによって,開発者の課題を調査する。
  論文  参考訳（メタデータ） (2024-11-16T19:38:27Z)
• LLMs: A Game-Changer for Software Engineers? [0.0]
  GPT-3やGPT-4のような大規模言語モデル(LLM)は、従来のAIアプリケーションを超えた機能を備えた画期的なイノベーションとして登場した。 ソフトウェア開発に革命をもたらす潜在能力は、ソフトウェアエンジニアリング(SE)コミュニティを魅了している。 この記事では、LCMはソフトウェアの開発方法を変えるだけでなく、開発者の役割を再定義するものである、と論じる。
  論文  参考訳（メタデータ） (2024-11-01T17:14:37Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
  我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。 この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T20:37:00Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
  実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。 本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
  論文  参考訳（メタデータ） (2023-09-15T07:22:56Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。