論文の概要: ChatGPT vs LLaMA: Impact, Reliability, and Challenges in Stack Overflow
Discussions
- arxiv url: http://arxiv.org/abs/2402.08801v1
- Date: Tue, 13 Feb 2024 21:15:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 17:29:32.163198
- Title: ChatGPT vs LLaMA: Impact, Reliability, and Challenges in Stack Overflow
Discussions
- Title（参考訳）: ChatGPT vs. LLaMA: スタックオーバーフローにおける影響、信頼性、課題
- Authors: Leuson Da Silva and Jordan Samhi and Foutse Khomh
- Abstract要約: ChatGPTは、プログラミングとソフトウェア開発に関する開発者のクエリのためのプレミアプラットフォームであるStack Overflowを揺るがした。
ChatGPTのリリースから2ヶ月後、MetaはLLaMAという独自のLarge Language Model (LLM)で回答を発表した。
- 参考スコア（独自算出の注目度）: 13.7001994656622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since its release in November 2022, ChatGPT has shaken up Stack Overflow, the
premier platform for developers' queries on programming and software
development. Demonstrating an ability to generate instant, human-like responses
to technical questions, ChatGPT has ignited debates within the developer
community about the evolving role of human-driven platforms in the age of
generative AI. Two months after ChatGPT's release, Meta released its answer
with its own Large Language Model (LLM) called LLaMA: the race was on. We
conducted an empirical study analyzing questions from Stack Overflow and using
these LLMs to address them. This way, we aim to (ii) measure user engagement
evolution with Stack Overflow over time; (ii) quantify the reliability of LLMs'
answers and their potential to replace Stack Overflow in the long term; (iii)
identify and understand why LLMs fails; and (iv) compare LLMs together. Our
empirical results are unequivocal: ChatGPT and LLaMA challenge human expertise,
yet do not outperform it for some domains, while a significant decline in user
posting activity has been observed. Furthermore, we also discuss the impact of
our findings regarding the usage and development of new LLMs.
- Abstract（参考訳）: 2022年11月にリリースされて以来、ChatGPTは、プログラミングとソフトウェア開発に関する開発者の問い合わせのための主要なプラットフォームであるStack Overflowを揺るがした。
ChatGPTは、技術的疑問に対する人間的な即時応答を生成する能力を示し、生成AIの時代における人間駆動プラットフォームの役割の進化について、開発者コミュニティ内での議論に火をつけた。
ChatGPTのリリースから2ヶ月後、MetaはLLaMAという独自のLarge Language Model (LLM)で回答を発表した。
そこで我々は,Stack Overflowからの質問を分析し,これらのLSMを用いて対処する実験を行った。
このようにして、私たちは
(ii) Stack Overflowで時間の経過とともにユーザエンゲージメントの進化を測定する。
2) LLMsの回答の信頼性と長期にわたってStack Overflowを置き換える可能性の定量化。
三 LLMが失敗した理由を特定し、理解すること。
(4)LLMの比較。
ChatGPTとLLaMAは人間の専門知識に挑戦するが、一部のドメインではそれを上回りません。
また,新たなLSMの使用と開発に関する知見がもたらす影響についても考察した。
関連論文リスト
- Developer Challenges on Large Language Models: A Study of Stack Overflow and OpenAI Developer Forum Posts [2.704899832646869]
大規模言語モデル(LLM)は、様々なドメインにまたがる例外的な機能のために広く普及している。
本研究は,Stack OverflowとOpenAI Developer Forum上でのコミュニティインタラクションを分析することによって,開発者の課題を調査する。
論文 参考訳（メタデータ） (2024-11-16T19:38:27Z) - LLMs are Imperfect, Then What? An Empirical Study on LLM Failures in Software Engineering [38.20696656193963]
非自明なソフトウェアエンジニアリングタスクにおいて,ChatGPTをコーディングアシスタントとして使用した22名の参加者を対象に,観察的研究を行った。
そこで我々は,ChatGPTが失敗した事例,その根本原因,およびユーザが使用する緩和ソリューションを特定した。
論文 参考訳（メタデータ） (2024-11-15T03:29:41Z) - An Empirical Study on Challenges for LLM Application Developers [28.69628251749012]
私たちは、人気のあるOpenAI開発者フォーラムから29,057の関連質問をクロールして分析します。
2,364の質問を手動で分析した後、LLM開発者が直面している課題の分類を構築した。
論文 参考訳（メタデータ） (2024-08-06T05:46:28Z) - StackRAG Agent: Improving Developer Answers with Retrieval-Augmented Generation [2.225268436173329]
StackRAGは,大規模言語モデルに基づく検索拡張マルチエージェント生成ツールである。
SOからの知識を集約して、生成された回答の信頼性を高める、という2つの世界を組み合わせています。
最初の評価は、生成された回答が正確で正確で、関連があり、有用であることを示している。
論文 参考訳（メタデータ） (2024-06-19T21:07:35Z) - When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。
具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。
FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
論文 参考訳（メタデータ） (2024-02-16T22:12:53Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳（メタデータ） (2024-02-09T05:37:09Z) - ChatGPT's One-year Anniversary: Are Open-Source Large Language Models
Catching up? [71.12709925152784]
ChatGPTは、AIのランドスケープ全体において、地震的な変化をもたらした。
モデルは人間の質問に答え、幅広いタスクのパネルで指示に従うことができることを示した。
クローズドソースのLLMは一般的にオープンソースよりも優れていますが、後者の進歩は急速に進んでいます。
これは研究だけでなく、ビジネスにも重要な意味を持つ。
論文 参考訳（メタデータ） (2023-11-28T17:44:51Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - Investigating Answerability of LLMs for Long-Form Question Answering [35.41413072729483]
実用的で影響力のある応用がいくつかあるので、長文質問応答(LFQA)に焦点を当てる。
本稿では,要約の要約から質問生成手法を提案し,長い文書の要約からフォローアップ質問を生成することで,困難な設定を実現できることを示す。
論文 参考訳（メタデータ） (2023-09-15T07:22:56Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z) - A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on
Reasoning, Hallucination, and Interactivity [79.12003701981092]
8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。
これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。
ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
論文 参考訳（メタデータ） (2023-02-08T12:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。