論文の概要: Exploring the Evidence-Based Beliefs and Behaviors of LLM-Based Programming Assistants
- arxiv url: http://arxiv.org/abs/2407.13900v1
- Date: Thu, 18 Jul 2024 21:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 19:32:58.899950
- Title: Exploring the Evidence-Based Beliefs and Behaviors of LLM-Based Programming Assistants
- Title（参考訳）: LLMに基づくプログラミングアシスタントのエビデンスに基づく信念と行動の探索
- Authors: Chris Brown, Jason Cusati,
- Abstract要約: 本研究では,大規模言語モデル(LLM)がソフトウェア開発タスクを支援するために使用する信念と行動について検討する。
以上の結果から,LCMをベースとしたプログラミングアシスタントは,研究のクレームに関する曖昧な信念を持ち,回答を裏付ける信頼性のある証拠が欠如しており,実証的なSE研究による開発作業支援の実践は不可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 2.3480418671346164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent innovations in artificial intelligence (AI), primarily powered by large language models (LLMs), have transformed how programmers develop and maintain software -- leading to new frontiers in software engineering (SE). The advanced capabilities of LLM-based programming assistants to support software development tasks have led to a rise in the adoption of LLMs in SE. However, little is known about the evidenced-based practices, tools and processes verified by research findings, supported and adopted by AI programming assistants. To this end, our work conducts a preliminary evaluation exploring the beliefs and behaviors of LLM used to support software development tasks. We investigate 17 evidence-based claims posited by empirical SE research across five LLM-based programming assistants. Our findings show that LLM-based programming assistants have ambiguous beliefs regarding research claims, lack credible evidence to support responses, and are incapable of adopting practices demonstrated by empirical SE research to support development tasks. Based on our results, we provide implications for practitioners adopting LLM-based programming assistants in development contexts and shed light on future research directions to enhance the reliability and trustworthiness of LLMs -- aiming to increase awareness and adoption of evidence-based SE research findings in practice.
- Abstract（参考訳）: 人工知能(AI)の最近のイノベーションは、主に大規模言語モデル(LLM)をベースとして、プログラマがソフトウェアを開発し、保守する方法を変革し、ソフトウェアエンジニアリング(SE)における新たなフロンティアへと繋がった。
ソフトウェア開発タスクをサポートするLLMベースのプログラミングアシスタントの高度な能力により、SEにおけるLLMの採用が増加した。
しかし、AIプログラミングアシスタントがサポートし、採用している研究結果によって検証された実証済みのプラクティス、ツール、プロセスについてはほとんど知られていない。
この目的のために,本研究は,ソフトウェア開発タスクを支援するLLMの信念と行動について予備評価を行う。
LLMをベースとした5つのプログラミングアシスタントを対象とした実証SEによる17のエビデンスに基づくクレームについて検討する。
以上の結果から,LCMをベースとしたプログラミングアシスタントは,研究のクレームに関する曖昧な信念を持ち,回答を裏付ける信頼性のある証拠が欠如しており,実証的なSE研究による開発作業支援の実践は不可能であることが示唆された。
本研究は,LCMをベースとしたプログラミングアシスタントを開発環境に導入する実践者に対して,LCMの信頼性と信頼性を高めるための今後の研究の方向性に光を当てることを目的としている。
関連論文リスト
- Experiences from Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。
私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。
この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
論文 参考訳（メタデータ） (2024-11-15T06:08:57Z) - From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。
特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。
我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
論文 参考訳（メタデータ） (2024-08-05T14:01:15Z) - Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。
LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。
本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
論文 参考訳（メタデータ） (2024-06-20T13:08:09Z) - Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳（メタデータ） (2024-04-18T15:21:34Z) - VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。
ビデオタスクの文脈でLLMの実用性を拡張するための新しいアプローチである。
我々は,その文脈学習能力を利用して,映像理解のための実行可能な視覚プログラムを生成する。
論文 参考訳（メタデータ） (2024-03-21T18:00:00Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳（メタデータ） (2024-02-26T07:33:05Z) - An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project [1.433758865948252]
大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。
ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
論文 参考訳（メタデータ） (2024-01-29T14:32:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。
本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。
実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
論文 参考訳（メタデータ） (2023-12-28T13:50:42Z) - Software Testing with Large Language Models: Survey, Landscape, and
Vision [32.34617250991638]
事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。
本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
論文 参考訳（メタデータ） (2023-07-14T08:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。