論文の概要: Are Machine Programming Systems using Right Source-Code Measures to
Select Code Repositories?
- arxiv url: http://arxiv.org/abs/2209.11946v1
- Date: Sat, 24 Sep 2022 07:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 15:13:04.950662
- Title: Are Machine Programming Systems using Right Source-Code Measures to
Select Code Repositories?
- Title（参考訳）: 正しいソースコード対策を用いた機械プログラミングシステムはコードリポジトリを選択するか?
- Authors: Niranjan Hasabnis
- Abstract要約: 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野である。
MPシステムは、コードとプログラミングに関する興味深い特性を学ぶために、大量のオープンソースコードに依存することが多い。
MPシステムは、コードリポジトリの品質を考慮していないか、非定型的な品質対策を使っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine programming (MP) is an emerging field at the intersection of
deterministic and probabilistic computing, and it aims to assist software and
hardware engineers, among other applications. Along with powerful compute
resources, MP systems often rely on vast amount of open-source code to learn
interesting properties about code and programming and solve problems in the
areas of debugging, code recommendation, auto-completion, etc. Unfortunately,
several of the existing MP systems either do not consider quality of code
repositories or use atypical quality measures than those typically used in
software engineering community to select them. As such, impact of quality of
code repositories on the performance of these systems needs to be studied.
In this preliminary paper, we evaluate impact of different quality
repositories on the performance of a candidate MP system. Towards that
objective, we develop a framework, named GitRank, to rank open-source
repositories on quality, maintainability, and popularity by leveraging existing
research on this topic. We then apply GitRank to evaluate correlation between
the quality measures used by the candidate MP system and the quality measures
used by our framework. Our preliminary results reveal some correlation between
the quality measures used in GitRank and ControlFlag's performance, suggesting
that some of the measures used in GitRank are applicable to ControlFlag. But it
also raises questions around right quality measures for code repositories used
in MP systems. We believe that our findings also generate interesting insights
towards code quality measures that affect performance of MP systems.
- Abstract（参考訳）: 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野であり、ソフトウェア技術者やハードウェアエンジニアを支援することを目的としている。
強力な計算リソースに加えて、MPシステムは、コードとプログラミングに関する興味深い特性を学び、デバッグやコードレコメンデーション、自動補完といった分野の問題を解決するために、大量のオープンソースコードに依存することが多い。
残念ながら、既存のMPシステムのいくつかは、コードリポジトリの品質を考慮していないか、ソフトウェア工学コミュニティで一般的に使われているものよりも非定型的な品質対策を使っている。
そのため、コードリポジトリの品質がこれらのシステムの性能に与える影響を研究する必要がある。
本稿では,mpシステム候補の性能に及ぼす品質の異なるリポジトリの影響について評価する。
その目的に向けて、我々はGitRankという名のフレームワークを開発し、このトピックに関する既存の研究を活用して、オープンソースのリポジトリの品質、保守性、人気をランク付けします。
次にgitrankを用いて,mpの候補システムで使用する品質指標と,そのフレームワークで使用する品質指標との相関性を評価する。
予備的な結果から,gitrank における品質指標と controlflag の性能の相関関係が明らかとなり,gitrank で使用されるいくつかの指標が controlflag に適用可能であることが示唆された。
しかし、MPシステムで使用されるコードリポジトリの適切な品質対策についても疑問を投げかける。
我々は,MPシステムの性能に影響を及ぼすコード品質対策に関する興味深い洞察も得られると考えている。
関連論文リスト
- DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。
本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
論文 参考訳（メタデータ） (2024-08-25T07:10:36Z) - CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳（メタデータ） (2024-06-20T16:59:52Z) - InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文 参考訳（メタデータ） (2024-03-11T02:06:30Z) - RepoAgent: An LLM-Powered Open-Source Framework for Repository-level
Code Documentation Generation [79.83270415843857]
コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。
RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
論文 参考訳（メタデータ） (2024-02-26T15:39:52Z) - CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology [4.2990995991059275]
大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学の分野を変えました。
我々は,大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化するように設計された,新しいシステムであるCodePoriを紹介する。
結果: CodePoriは、典型的なソフトウェア開発プロセスに合わせて、大規模プロジェクトの実行コードを生成することができる。
論文 参考訳（メタデータ） (2024-02-02T13:42:50Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳（メタデータ） (2023-11-14T21:46:27Z) - Finding Software Vulnerabilities in Open-Source C Projects via Bounded
Model Checking [2.9129603096077332]
我々は,汎用ソフトウェアシステムの脆弱性を効果的に検出できる境界モデル検査手法を提唱する。
我々は,最先端の有界モデルチェッカーを用いて,大規模ソフトウェアシステムを検証する手法を開発し,評価した。
論文 参考訳（メタデータ） (2023-11-09T11:25:24Z) - An End-to-End System for Reproducibility Assessment of Source Code
Repositories via Their Readmes [0.138120109831448]
本稿では,ソースコードリポジトリのReadmeファイルで動作するエンドツーエンドシステムを提案する。
システムは、セクションスコアを組み合わせるカスタム機能に基づいてスコアを生成する。
Readmeファイルのセクションにスコアを直接関連付けることができるので、説明可能性に関する利点がある。
論文 参考訳（メタデータ） (2023-10-14T18:01:11Z) - State-Of-The-Practice in Quality Assurance in Java-Based Open Source
Software Development [3.4800665691198565]
我々は、GitHub上の1,454の人気のあるオープンソースプロジェクトの開発において、品質保証アプローチが併用されているかどうかを調査する。
我々の研究は、一般的にプロジェクトは高強度で全ての品質保証プラクティスに従わないことを示唆している。
一般的に、我々の研究は、Javaベースのオープンソースソフトウェア開発において、既存の品質保証アプローチがどのように使われているか、より深く理解しています。
論文 参考訳（メタデータ） (2023-06-16T07:43:11Z) - Lessons from Formally Verified Deployed Software Systems (Extended version) [65.69802414600832]
本稿は、正式に認証されたシステムを作成し、実際に使用するためにデプロイした各種のアプリケーション分野のプロジェクトについて検討する。
使用する技術、適用の形式、得られた結果、そしてソフトウェア産業が形式的な検証技術やツールの恩恵を受ける能力について示すべき教訓を考察する。
論文 参考訳（メタデータ） (2023-01-05T18:18:46Z) - GitRank: A Framework to Rank GitHub Repositories [0.0]
オープンソースリポジトリは豊富な情報を提供し、人工知能(AI)ベースのシステムの構築にますます利用されている。
このハッカソンでは、既知のコード品質測定とGrimoireLabツールキットを使用して、GitRankという名前のフレームワークを実装し、オープンソースのリポジトリを3つの異なる基準でランク付けします。
論文 参考訳（メタデータ） (2022-05-04T23:42:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。