論文の概要: An Empirical Study on Challenges for LLM Developers
- arxiv url: http://arxiv.org/abs/2408.05002v2
- Date: Mon, 12 Aug 2024 01:48:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 19:54:11.798369
- Title: An Empirical Study on Challenges for LLM Developers
- Title(参考訳): LLM開発者の挑戦に関する実証的研究
- Authors: Xiang Chen, Chaoyang Gao, Chunyang Chen, Guangbei Zhang, Yong Liu,
- Abstract要約: 私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。
2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
- 参考スコア(独自算出の注目度): 28.69628251749012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, large language models (LLMs) have seen rapid advancements, significantly impacting various fields such as natural language processing, and software engineering. These LLMs, exemplified by OpenAI's ChatGPT, have revolutionized the way we approach language understanding and generation tasks. However, in contrast to traditional software development practices, LLM development introduces new challenges for AI developers in design, implementation, and deployment. These challenges span different areas (such as prompts, APIs, and plugins), requiring developers to navigate unique methodologies and considerations specific to LLM development. Despite the profound influence of LLMs, to the best of our knowledge, these challenges have not been thoroughly investigated in previous empirical studies. To fill this gap, we present the first comprehensive study on understanding the challenges faced by LLM developers. Specifically, we crawl and analyze 29,057 relevant questions from a popular OpenAI developer forum. We first examine their popularity and difficulty. After manually analyzing 2,364 sampled questions, we construct a taxonomy of challenges faced by LLM developers. Based on this taxonomy, we summarize a set of findings and actionable implications for LLM-related stakeholders, including developers and providers (especially the OpenAI organization).
- Abstract(参考訳): 近年,大規模言語モデル (LLM) が急速に進歩し,自然言語処理やソフトウェア工学といった様々な分野に大きな影響を与えた。
OpenAIのChatGPTによって実証されたこれらのLLMは、言語理解と生成タスクへのアプローチ方法に革命をもたらした。
しかしながら、従来のソフトウェア開発プラクティスとは対照的に、LLM開発では、設計、実装、デプロイメントにおいてAI開発者にとって新たな課題が導入されている。
これらの課題はさまざまな領域(プロンプト、API、プラグインなど)にまたがっており、開発者はLSM開発に特有の独自の方法論や考慮をナビゲートする必要がある。
LLMの強い影響にもかかわらず、我々の知る限りでは、これらの課題は過去の実証研究では十分に研究されていない。
このギャップを埋めるために、LLM開発者が直面している課題を理解するための、最初の包括的な研究を紹介する。
具体的には、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。
私たちはまず彼らの人気と難しさを調べます。
2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
この分類に基づいて、開発者や提供者(特にOpenAI組織)を含むLCM関連ステークホルダーに対する一連の発見と行動可能な意味を要約する。
関連論文リスト
- Near to Mid-term Risks and Opportunities of Open-Source Generative AI [94.06233419171016]
Generative AIの応用は、科学や医学、教育など、さまざまな分野に革命をもたらすことが期待されている。
こうした地震の影響の可能性は、潜在的なリスクに関する活発な議論を引き起こし、より厳格な規制を要求した。
この規制は、オープンソースのジェネレーティブAIの誕生する分野を危険にさらしている可能性が高い。
論文 参考訳(メタデータ) (2024-04-25T21:14:24Z) - Particip-AI: Anticipating Future AI Use Cases and Impacts with Lay Users [54.648819983899614]
汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。
本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
論文 参考訳(メタデータ) (2024-03-21T19:12:37Z) - Development in times of hype: How freelancers explore Generative AI? [0.0]
ジェネレーティブAIは、これまで関わったことのない開発者に、ユニークな課題を提示する。
我々は、生成AIに基づくソリューション開発に関連する複数の課題を特定する。
我々は、ソフトウェアエンジニアリングコミュニティが効果的なガイダンスを提供することができる分野として、生成AIのためのソフトウェアエンジニアリング(SE4GenAI)とHype-induced Software Engineering(HypeSE)を提案する。
論文 参考訳(メタデータ) (2024-01-11T09:49:50Z) - From Google Gemini to OpenAI Q* (Q-Star): A Survey of Reshaping the
Generative Artificial Intelligence (AI) Research Landscape [5.852005817069381]
生成人工知能(AI)の現状と今後の動向について批判的考察
GoogleのGeminiや、予想されるOpenAI Q*プロジェクトといったイノベーションが、さまざまなドメインにわたる研究の優先順位とアプリケーションをどう変えているのかを調査した。
この研究は、倫理的および人間中心の手法をAI開発に取り入れることの重要性を強調し、社会規範と福祉の整合性を確保した。
論文 参考訳(メタデータ) (2023-12-18T01:11:39Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳(メタデータ) (2023-04-10T15:38:12Z) - OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。
この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。
マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
論文 参考訳(メタデータ) (2023-04-10T03:55:35Z) - Do We Need Explainable AI in Companies? Investigation of Challenges,
Expectations, and Chances from Employees' Perspective [0.8057006406834467]
AIの使用は、企業とその従業員に対して、AIシステムの透明性と理解性を含む、新たな要件を提供する。
説明可能なAI(XAI)の分野は、これらの問題に対処することを目指している。
本報告では,(X)AIに対する従業員のニーズと態度について考察する。
論文 参考訳(メタデータ) (2022-10-07T13:11:28Z) - A Survey on Neural Open Information Extraction: Current Status and
Future Directions [87.30702606041407]
Open Information extract (OpenIE) は、大規模コーパスからの関係事実のドメインに依存しない発見を容易にする。
我々は、最先端のニューラルなOpenIEモデル、その設計決定、強み、弱点について概観する。
論文 参考訳(メタデータ) (2022-05-24T02:24:55Z) - Explainable AI (XAI): A Systematic Meta-Survey of Current Challenges and
Future Opportunities [0.0]
説明可能なAI(XAI)は、AIをより透明性を高め、クリティカルドメインにおけるAIの採用を促進するために提案されている。
本研究は,XAIにおける課題と今後の研究方向性の体系的なメタサーベイである。
論文 参考訳(メタデータ) (2021-11-11T19:06:13Z) - A User-Centred Framework for Explainable Artificial Intelligence in
Human-Robot Interaction [70.11080854486953]
本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。
このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
論文 参考訳(メタデータ) (2021-09-27T09:56:23Z) - aiSTROM -- A roadmap for developing a successful AI strategy [3.5788754401889014]
Rackspace Technologyの最近の調査によると、AI研究開発プロジェクトの34%が失敗または放棄されている。
我々は、マネージャにAI戦略を成功させる新しい戦略フレームワーク、aiSTROMを提案する。
論文 参考訳(メタデータ) (2021-06-25T08:40:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。