論文の概要: Exploring the Evidence-Based Beliefs of LLM-Based Programming Assistants

• arxiv url: http://arxiv.org/abs/2407.13900v2
• Date: Tue, 10 Jun 2025 14:04:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:38.650863
• Title: Exploring the Evidence-Based Beliefs of LLM-Based Programming Assistants
• Title（参考訳）: LLMに基づくプログラミングアシスタントのエビデンスに基づく信念の探索
• Authors: Chris Brown, Jason Cusati,
• Abstract要約: 本研究では,大規模言語モデル (LLM) がソフトウェア開発タスクを支援するために用いられていることを考察する。 以上の結果から,LSMをベースとしたプログラミングアシスタントは,研究の主張に関して曖昧な信念を持ち,回答を裏付ける信頼できる証拠が欠如していることが示唆された。
• 参考スコア（独自算出の注目度）: 2.3480418671346164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent innovations in artificial intelligence (AI), primarily powered by large language models (LLMs), have transformed how programmers develop and maintain software -- leading to new frontiers in software engineering (SE). The advanced capabilities of LLM-based programming assistants to support software development tasks have led to a rise in the adoption of LLMs in SE. However, little is known about the evidenced-based practices, tools and processes verified by research findings, supported and adopted by AI programming assistants. To this end, our work conducts a preliminary evaluation exploring the beliefs of LLM used to support software development tasks. We investigate 17 evidence-based claims posited by empirical SE research across five LLM-based programming assistants. Our findings show that LLM-based programming assistants have ambiguous beliefs regarding research claims and lack credible evidence to support responses. Based on our results, we provide implications for practitioners adopting LLM-based programming assistants in development contexts and shed light on future research directions to enhance the reliability and trustworthiness of LLMs -- aiming to increase awareness and adoption of evidence-based SE research findings in practice.
• Abstract（参考訳）: 人工知能(AI)の最近のイノベーションは、主に大規模言語モデル(LLM)をベースとして、プログラマがソフトウェアを開発し、保守する方法を変革し、ソフトウェアエンジニアリング(SE)における新たなフロンティアへと繋がった。 ソフトウェア開発タスクをサポートするLLMベースのプログラミングアシスタントの高度な能力により、SEにおけるLLMの採用が増加した。 しかし、AIプログラミングアシスタントがサポートし、採用している研究結果によって検証された実証済みのプラクティス、ツール、プロセスについてはほとんど知られていない。 この目的のために,本研究は,ソフトウェア開発タスクを支援するのに使用されるLCMの信念を探求する予備的な評価を行う。 LLMをベースとした5つのプログラミングアシスタントを対象とした実証SEによる17のエビデンスに基づくクレームについて検討する。 以上の結果から,LSMをベースとしたプログラミングアシスタントは,研究の主張に関して曖昧な信念を持ち,回答を裏付ける信頼できる証拠が欠如していることが示唆された。 本研究は,LCMをベースとしたプログラミングアシスタントを開発環境に導入する実践者に対して,LCMの信頼性と信頼性を高めるための今後の研究の方向性に光を当てることを目的としている。

関連論文リスト

• AI4Research: A Survey of Artificial Intelligence for Scientific Research [55.5452803680643]
  我々はAI for Research(AI4Research)に関する総合的な調査を行う。 まず、AI4Researchの5つの主要なタスクを分類する系統分類を導入する。 主要な研究ギャップを特定し、将来有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2025-07-02T17:19:20Z)
• AI-Driven Automation Can Become the Foundation of Next-Era Science of Science Research [58.944125758758936]
  科学科学(Science of Science, SoS)は、科学的発見の基礎となるメカニズムを探求する。 人工知能(AI)の出現は、次世代のSoSに変革の機会をもたらす。 我々は、従来の手法よりもAIの利点を概説し、潜在的な制限について議論し、それらを克服するための経路を提案する。
  論文  参考訳（メタデータ） (2025-05-17T15:01:33Z)
• Junior Software Developers' Perspectives on Adopting LLMs for Software Engineering: a Systematic Literature Review [17.22501688824729]
  本稿では,ソフトウェア工学におけるLarge Language Model-based tools(LLM4SE)の概要について述べる。 キッチェンハムらによる56の初等研究のガイドラインに従って,系統的な文献レビューを行った。 研究の8.9%だけがジュニアソフトウェア開発者に明確な定義を提供しており、統一性はない。
  論文  参考訳（メタデータ） (2025-03-10T17:25:24Z)
• Human-AI Experience in Integrated Development Environments: A Systematic Literature Review [2.1749194587826026]
  In-IDE HAXはAI支援コーディング環境におけるヒューマン・コンピュータインタラクションの進化するダイナミクスを探求する。 この結果から,AIによるコーディングによって開発者の生産性が向上するだけでなく,検証オーバーヘッドや自動化バイアス,信頼性の過大化といった課題も生じていることがわかった。 コードの正確性、セキュリティ、保守性に関する懸念は、説明可能性、検証メカニズム、適応的なユーザコントロールに対する緊急の必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2025-03-08T12:40:18Z)
• LLMs' Reshaping of People, Processes, Products, and Society in Software Development: A Comprehensive Exploration with Early Adopters [3.4069804433026314]
  OpenAI ChatGPT、Google Gemini、GitHub Copilotといった大規模言語モデル(LLM)は、ソフトウェア業界で急速に注目を集めている。 私たちの研究は、LLMがソフトウェア開発のランドスケープをどう形作っているのか、微妙に理解しています。
  論文  参考訳（メタデータ） (2025-03-06T22:27:05Z)
• Assessing LLMs for Front-end Software Architecture Knowledge [0.0]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクの自動化において大きな可能性を証明している。 本研究では,VIPER アーキテクチャ内の構造を理解し,再現し,生成する LLM の機能について検討する。 実験の結果、ChatGPT 4 Turbo 2024-04-09 を用いて、LLM は評価や作成といった高次タスクに優れていたが、アーキテクチャの詳細の正確な検索を必要とする低次タスクでは課題に直面していたことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-26T19:33:35Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Large Language Models for Code Generation: The Practitioners Perspective [4.946128083535776]
  大きな言語モデル(LLM)は、自然言語のプロンプトからソースコードを生成することができるコーディングアシスタントとして登場した。 自然言語のプロンプトに基づいてコードを生成し,実行するための多モデル統合プラットフォームを提案し,開発する。 我々は4大陸11カ国から60人のソフトウェア実践者を対象に,各モデルのユーザビリティ,パフォーマンス,強み,限界を評価する調査を行った。
  論文  参考訳（メタデータ） (2025-01-28T14:52:16Z)
• How Developers Interact with AI: A Taxonomy of Human-AI Collaboration in Software Engineering [8.65285948382426]
  開発者とAIツール間のインタラクションタイプを分類し,11種類のインタラクションタイプを識別する。 この分類に基づいて、AIインタラクションの最適化、開発者のコントロールの改善、AI支援開発における信頼とユーザビリティの課題への対処に焦点を当てた研究課題を概説する。
  論文  参考訳（メタデータ） (2025-01-15T12:53:49Z)
• Experiences from Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
  大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。 私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。 この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-15T06:08:57Z)
• Generative AI in Health Economics and Outcomes Research: A Taxonomy of Key Definitions and Emerging Applications, an ISPOR Working Group Report [12.204470166456561]
  ジェネレーティブAIは、健康経済学と成果研究(HEOR)において大きな可能性を秘めている 生成AIは、HEORに大きな可能性を示し、効率性、生産性を高め、複雑な課題に対する新しいソリューションを提供する。 ファウンデーションモデルは複雑なタスクを自動化する上で有望だが、科学的信頼性、バイアス、解釈可能性、ワークフローの統合には課題が残っている。
  論文  参考訳（メタデータ） (2024-10-26T15:42:50Z)
• Dear Diary: A randomized controlled trial of Generative AI coding tools in the workplace [2.5280615594444567]
  ジェネレーティブAIコーディングツールは比較的新しいもので、開発者への影響は従来のコーディングメトリクスを超えて拡大している。 本研究の目的は、生成型AIツールに関する既存の信念、自己認識、そしてこれらのツールの定期的な使用がこれらの信念をどう変えるかを明らかにすることである。 その結果,ジェネレーティブなAIコーディングツールの導入と持続的使用は,これらのツールが有用かつ楽しいものであるという開発者の認識を著しく高めていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-24T00:07:27Z)
• From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future [15.568939568441317]
  本稿では,大規模言語モデル (LLM) と LLM をベースとしたソフトウェア工学エージェントの実践とソリューションについて検討する。 特に、要件エンジニアリング、コード生成、自律的な意思決定、ソフトウェア設計、テスト生成、ソフトウェアメンテナンスの6つの主要なトピックを要約します。 我々は、使用するモデルとベンチマークについて論じ、ソフトウェア工学におけるそれらの応用と有効性について包括的に分析する。
  論文  参考訳（メタデータ） (2024-08-05T14:01:15Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Generative AI Agent for Next-Generation MIMO Design: Fundamentals, Challenges, and Vision [76.4345564864002]
  次世代の多重入力多重出力(MIMO)はインテリジェントでスケーラブルであることが期待される。 本稿では、カスタマイズされた特殊コンテンツを生成することができる生成型AIエージェントの概念を提案する。 本稿では、生成AIエージェントをパフォーマンス分析に活用することの有効性を示す2つの説得力のあるケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-13T02:39:36Z)
• VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
  本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。 ビデオタスクの文脈でLLMの実用性を拡張するための新しいアプローチである。 我々は,その文脈学習能力を利用して,映像理解のための実行可能な視覚プログラムを生成する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:00Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• Exploring the intersection of Generative AI and Software Development [0.0]
  生成AIとソフトウェアエンジニアリングの相乗効果は、変革的なフロンティアとして現れます。 このホワイトペーパーは、探索されていない領域に展開し、生成的AI技術がソフトウェア開発にどのように革命をもたらすかを解明する。 これはステークホルダーのためのガイドとして機能し、ソフトウェア工学における生成AIの適用に関する議論と実験を促している。
  論文  参考訳（メタデータ） (2023-12-21T19:23:23Z)
• Software Testing with Large Language Models: Survey, Landscape, and Vision [32.34617250991638]
  事前訓練された大規模言語モデル(LLM)は、自然言語処理と人工知能におけるブレークスルー技術として登場した。 本稿では,ソフトウェアテストにおけるLCMの利用状況について概説する。
  論文  参考訳（メタデータ） (2023-07-14T08:26:12Z)
• The Future of Fundamental Science Led by Generative Closed-Loop Artificial Intelligence [67.70415658080121]
  機械学習とAIの最近の進歩は、技術革新、製品開発、社会全体を破壊している。 AIは、科学的な実践とモデル発見のための高品質なデータの大規模なデータセットへのアクセスがより困難であるため、基礎科学にはあまり貢献していない。 ここでは、科学的な発見に対するAI駆動、自動化、クローズドループアプローチの側面を調査し、調査する。
  論文  参考訳（メタデータ） (2023-07-09T21:16:56Z)
• Learning from learning machines: a new generation of AI technology to meet the needs of science [59.261050918992325]
  科学的な発見のためのAIの有用性を高めるための新たな機会と課題を概説する。 産業におけるAIの目標と科学におけるAIの目標の区別は、データ内のパターンを識別することと、データから世界のパターンを発見することとの間に緊張を生じさせる。
  論文  参考訳（メタデータ） (2021-11-27T00:55:21Z)
• An interdisciplinary conceptual study of Artificial Intelligence (AI) for helping benefit-risk assessment practices: Towards a comprehensive qualification matrix of AI programs and devices (pre-print 2020) [55.41644538483948]
  本稿では,インテリジェンスの概念に対処するさまざまな分野の既存の概念を包括的に分析する。 目的は、AIシステムを評価するための共有概念や相違点を特定することである。
  論文  参考訳（メタデータ） (2021-05-07T12:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。