論文の概要: An Empirical Study of OpenAI API Discussions on Stack Overflow

• arxiv url: http://arxiv.org/abs/2505.04084v1
• Date: Wed, 07 May 2025 02:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-08 19:07:35.958034
• Title: An Empirical Study of OpenAI API Discussions on Stack Overflow
• Title（参考訳）: スタックオーバーフローに関するOpenAI APIに関する実証的研究
• Authors: Xiang Chen, Jibin Wang, Chaoyang Gao, Xiaolin Ju, Zhanqi Cui,
• Abstract要約: 人気のQ&AフォーラムStack Overflowから,OpenAI API関連の2,874の議論を分析して,初の総合的な実証的研究を行った。 トピックモデリング分析により、各カテゴリに関連する特定の課題を特定する。 本研究は, 開発者, LLM ベンダ, 研究者に対して, 実用的な意味合いを提案する。
• 参考スコア（独自算出の注目度）: 4.493725660997856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large language models (LLMs), represented by OpenAI's GPT series, has significantly impacted various domains such as natural language processing, software development, education, healthcare, finance, and scientific research. However, OpenAI APIs introduce unique challenges that differ from traditional APIs, such as the complexities of prompt engineering, token-based cost management, non-deterministic outputs, and operation as black boxes. To the best of our knowledge, the challenges developers encounter when using OpenAI APIs have not been explored in previous empirical studies. To fill this gap, we conduct the first comprehensive empirical study by analyzing 2,874 OpenAI API-related discussions from the popular Q&A forum Stack Overflow. We first examine the popularity and difficulty of these posts. After manually categorizing them into nine OpenAI API-related categories, we identify specific challenges associated with each category through topic modeling analysis. Based on our empirical findings, we finally propose actionable implications for developers, LLM vendors, and researchers.
• Abstract（参考訳）: OpenAIのGPTシリーズで代表される大規模言語モデル(LLM)の急速な進歩は、自然言語処理、ソフトウェア開発、教育、医療、ファイナンス、科学研究など様々な分野に多大な影響を与えている。 しかし、OpenAI APIは、プロンプトエンジニアリングの複雑さ、トークンベースのコスト管理、非決定論的アウトプット、ブラックボックスとしての運用など、従来のAPIとは異なるユニークな課題を導入している。 私たちの知る限りでは、OpenAI APIを使用する際に開発者が直面する課題は、これまでの実証的研究では調査されていない。 このギャップを埋めるために、人気のあるQ&AフォーラムStack Overflowの2,874のOpenAI API関連の議論を分析して、最初の総合的な実証的研究を行った。 まず、これらの投稿の人気と難しさについて検討する。 それらを9つのOpenAI API関連カテゴリに手動で分類した後、トピックモデリング分析により、各カテゴリに関連する特定の課題を特定する。 経験的知見に基づいて,開発者,LLMベンダ,研究者に対して,行動可能な意味合いを提案する。

関連論文リスト

• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
  私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。 2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
  論文  参考訳（メタデータ） (2024-08-06T05:46:28Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
  ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。 この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。 マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
  論文  参考訳（メタデータ） (2023-04-10T03:55:35Z)
• A Survey on Neural Open Information Extraction: Current Status and Future Directions [87.30702606041407]
  Open Information extract (OpenIE) は、大規模コーパスからの関係事実のドメインに依存しない発見を容易にする。 我々は、最先端のニューラルなOpenIEモデル、その設計決定、強み、弱点について概観する。
  論文  参考訳（メタデータ） (2022-05-24T02:24:55Z)
• Retrieving and Reading: A Comprehensive Survey on Open-domain Question Answering [62.88322725956294]
  OpenQAの最近の研究動向を概観し、特にニューラルMSC技術を導入したシステムに注目した。 Retriever-Reader' と呼ばれる最新の OpenQA アーキテクチャを導入し、このアーキテクチャに従うさまざまなシステムを分析します。 次に、OpenQAシステムの開発における主要な課題について議論し、一般的に使用されるベンチマークの分析を提供する。
  論文  参考訳（メタデータ） (2021-01-04T04:47:46Z)
• OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research [82.09426894653237]
  OpenHoldemは、NLTHを用いた大規模不完全情報ゲーム研究のための統合ツールキットです。 1)異なるNLTH AIを徹底的に評価するための標準化された評価プロトコル、2)NLTH AIのための3つの公的に利用可能な強力なベースライン、3)公開NLTH AI評価のための使いやすいAPIを備えたオンラインテストプラットフォーム。
  論文  参考訳（メタデータ） (2020-12-11T07:24:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。