論文の概要: Demystifying Issues, Causes and Solutions in LLM Open-Source Projects
- arxiv url: http://arxiv.org/abs/2409.16559v1
- Date: Wed, 25 Sep 2024 02:16:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 05:55:22.582606
- Title: Demystifying Issues, Causes and Solutions in LLM Open-Source Projects
- Title（参考訳）: LLMオープンソースプロジェクトの問題点・原因・解決策
- Authors: Yangxiao Cai, Peng Liang, Yifei Wang, Zengyang Li, Mojtaba Shahin,
- Abstract要約: LLMオープンソースソフトウェアの開発と利用において,実践者が直面する問題を理解するための実証的研究を行った。
LLMの15のオープンソースプロジェクトから、クローズドな問題をすべて収集し、要件を満たす問題をラベル付けしました。
本研究の結果から,モデル課題は実践者が直面する最も一般的な問題であることが示唆された。
- 参考スコア（独自算出の注目度）: 15.881912703104376
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advancements of Large Language Models (LLMs), an increasing number of open-source software projects are using LLMs as their core functional component. Although research and practice on LLMs are capturing considerable interest, no dedicated studies explored the challenges faced by practitioners of LLM open-source projects, the causes of these challenges, and potential solutions. To fill this research gap, we conducted an empirical study to understand the issues that practitioners encounter when developing and using LLM open-source software, the possible causes of these issues, and potential solutions.We collected all closed issues from 15 LLM open-source projects and labelled issues that met our requirements. We then randomly selected 994 issues from the labelled issues as the sample for data extraction and analysis to understand the prevalent issues, their underlying causes, and potential solutions. Our study results show that (1) Model Issue is the most common issue faced by practitioners, (2) Model Problem, Configuration and Connection Problem, and Feature and Method Problem are identified as the most frequent causes of the issues, and (3) Optimize Model is the predominant solution to the issues. Based on the study results, we provide implications for practitioners and researchers of LLM open-source projects.
- Abstract（参考訳）: LLM(Large Language Models)の発展に伴い、LLMをコア機能コンポーネントとして使用しているオープンソースプロジェクトが増えている。
LLMの研究と実践は、かなりの関心を集めているが、LLMオープンソースプロジェクトの実践者が直面している課題、これらの課題の原因、潜在的な解決策について専門的な研究は行われていない。
この研究ギャップを埋めるため,我々は,LLMオープンソースソフトウェアの開発と利用において実践者が直面する問題,これらの問題の原因,および潜在的な解決策を理解するための実証的研究を行い,15のLLMオープンソースプロジェクトのクローズドな問題をすべて収集し,要件を満たした課題をラベル付けした。
次に,データ抽出と解析のサンプルとして,ラベル付き問題から994件の問題をランダムに選択し,問題やその根本原因,潜在的な解決策について検討した。
本研究の結果から,(1)モデル問題は実践者が直面する最も一般的な問題であり,(2)モデル問題,構成と接続の問題,および特徴と方法の問題が問題の最も頻繁な原因として認識され,(3)モデル最適化が問題に対する主要な解決策であることが示唆された。
本研究の結果から,LLMオープンソースプロジェクトの実践者や研究者に示唆を与える。
関連論文リスト
- An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。
2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
論文 参考訳（メタデータ） (2024-08-06T05:46:28Z) - MathOdyssey: Benchmarking Mathematical Problem-Solving Skills in Large Language Models Using Odyssey Math Data [20.31528845718877]
大規模言語モデル(LLM)は、非常に高度な自然言語理解を持ち、強力な問題解決能力を示した。
本稿では,新たに開発された"MathOdyssey"データセットを用いて,LLMの数学的問題解決能力について検討する。
論文 参考訳（メタデータ） (2024-06-26T13:02:35Z) - Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
大規模言語モデル(LLM)の能力評価にはMWP(Math Word Problems)が不可欠である
この研究は、文脈長一般化可能性(CoLeG)の探索の先駆者である。
これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。
論文 参考訳（メタデータ） (2024-05-23T17:13:50Z) - Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳（メタデータ） (2024-02-19T11:11:08Z) - Breaking the Silence: the Threats of Using LLMs in Software Engineering [12.368546216271382]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)コミュニティ内で大きな注目を集めています。
本稿では,LSMに基づく研究の有効性に対する潜在的な脅威について,オープンな議論を開始する。
論文 参考訳（メタデータ） (2023-12-13T11:02:19Z) - Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。
まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。
驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
論文 参考訳（メタデータ） (2023-12-04T18:58:57Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳（メタデータ） (2023-10-11T14:18:03Z) - SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。
SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。
その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文 参考訳（メタデータ） (2023-07-20T07:01:57Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳（メタデータ） (2023-05-23T04:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。