論文の概要: Are Machine Programming Systems using Right Source-Code Measures to
Select Code Repositories?
- arxiv url: http://arxiv.org/abs/2209.11946v1
- Date: Sat, 24 Sep 2022 07:34:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 15:13:04.950662
- Title: Are Machine Programming Systems using Right Source-Code Measures to
Select Code Repositories?
- Title(参考訳): 正しいソースコード対策を用いた機械プログラミングシステムはコードリポジトリを選択するか?
- Authors: Niranjan Hasabnis
- Abstract要約: 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野である。
MPシステムは、コードとプログラミングに関する興味深い特性を学ぶために、大量のオープンソースコードに依存することが多い。
MPシステムは、コードリポジトリの品質を考慮していないか、非定型的な品質対策を使っている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine programming (MP) is an emerging field at the intersection of
deterministic and probabilistic computing, and it aims to assist software and
hardware engineers, among other applications. Along with powerful compute
resources, MP systems often rely on vast amount of open-source code to learn
interesting properties about code and programming and solve problems in the
areas of debugging, code recommendation, auto-completion, etc. Unfortunately,
several of the existing MP systems either do not consider quality of code
repositories or use atypical quality measures than those typically used in
software engineering community to select them. As such, impact of quality of
code repositories on the performance of these systems needs to be studied.
In this preliminary paper, we evaluate impact of different quality
repositories on the performance of a candidate MP system. Towards that
objective, we develop a framework, named GitRank, to rank open-source
repositories on quality, maintainability, and popularity by leveraging existing
research on this topic. We then apply GitRank to evaluate correlation between
the quality measures used by the candidate MP system and the quality measures
used by our framework. Our preliminary results reveal some correlation between
the quality measures used in GitRank and ControlFlag's performance, suggesting
that some of the measures used in GitRank are applicable to ControlFlag. But it
also raises questions around right quality measures for code repositories used
in MP systems. We believe that our findings also generate interesting insights
towards code quality measures that affect performance of MP systems.
- Abstract(参考訳): 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野であり、ソフトウェア技術者やハードウェアエンジニアを支援することを目的としている。
強力な計算リソースに加えて、MPシステムは、コードとプログラミングに関する興味深い特性を学び、デバッグやコードレコメンデーション、自動補完といった分野の問題を解決するために、大量のオープンソースコードに依存することが多い。
残念ながら、既存のMPシステムのいくつかは、コードリポジトリの品質を考慮していないか、ソフトウェア工学コミュニティで一般的に使われているものよりも非定型的な品質対策を使っている。
そのため、コードリポジトリの品質がこれらのシステムの性能に与える影響を研究する必要がある。
本稿では,mpシステム候補の性能に及ぼす品質の異なるリポジトリの影響について評価する。
その目的に向けて、我々はGitRankという名のフレームワークを開発し、このトピックに関する既存の研究を活用して、オープンソースのリポジトリの品質、保守性、人気をランク付けします。
次にgitrankを用いて,mpの候補システムで使用する品質指標と,そのフレームワークで使用する品質指標との相関性を評価する。
予備的な結果から,gitrank における品質指標と controlflag の性能の相関関係が明らかとなり,gitrank で使用されるいくつかの指標が controlflag に適用可能であることが示唆された。
しかし、MPシステムで使用されるコードリポジトリの適切な品質対策についても疑問を投げかける。
我々は,MPシステムの性能に影響を及ぼすコード品質対策に関する興味深い洞察も得られると考えている。
関連論文リスト
- RepoAgent: An LLM-Powered Open-Source Framework for Repository-level
Code Documentation Generation [79.83270415843857]
コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。
RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
論文 参考訳(メタデータ) (2024-02-26T15:39:52Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Finding Software Vulnerabilities in Open-Source C Projects via Bounded
Model Checking [2.9129603096077332]
我々は,汎用ソフトウェアシステムの脆弱性を効果的に検出できる境界モデル検査手法を提唱する。
我々は,最先端の有界モデルチェッカーを用いて,大規模ソフトウェアシステムを検証する手法を開発し,評価した。
論文 参考訳(メタデータ) (2023-11-09T11:25:24Z) - Generate and Pray: Using SALLMS to Evaluate the Security of LLM
Generated Code [0.7451457983372032]
大規模言語モデルによって生成されたコードが正しいだけでなく、脆弱性もないことを保証することが重要です。
LLM(Large Language Models)を評価するために使われる既存のデータセットは、セキュリティに敏感な真のソフトウェアエンジニアリングタスクを適切に表現していない。
生成されたコードのセキュリティを評価することに焦点を当てたベンチマークが明らかに欠落している。
論文 参考訳(メタデータ) (2023-11-01T22:46:31Z) - An End-to-End System for Reproducibility Assessment of Source Code
Repositories via Their Readmes [0.138120109831448]
本稿では,ソースコードリポジトリのReadmeファイルで動作するエンドツーエンドシステムを提案する。
システムは、セクションスコアを組み合わせるカスタム機能に基づいてスコアを生成する。
Readmeファイルのセクションにスコアを直接関連付けることができるので、説明可能性に関する利点がある。
論文 参考訳(メタデータ) (2023-10-14T18:01:11Z) - Quality-Aware Translation Models: Efficient Generation and Quality
Estimation in a Single Model [80.52182596068464]
そこで我々は,ニューラルネットワーク翻訳(NMT)モデルを用いて,その品質を学習し,その品質を推定する手法を提案する。
我々は、単一パスの復号化の効率性よりも、品質向上や品質改善のアプローチよりも優れた品質向上を得る。
論文 参考訳(メタデータ) (2023-10-10T15:33:51Z) - State-Of-The-Practice in Quality Assurance in Java-Based Open Source
Software Development [3.4800665691198565]
我々は、GitHub上の1,454の人気のあるオープンソースプロジェクトの開発において、品質保証アプローチが併用されているかどうかを調査する。
我々の研究は、一般的にプロジェクトは高強度で全ての品質保証プラクティスに従わないことを示唆している。
一般的に、我々の研究は、Javaベースのオープンソースソフトウェア開発において、既存の品質保証アプローチがどのように使われているか、より深く理解しています。
論文 参考訳(メタデータ) (2023-06-16T07:43:11Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-11-24T12:11:22Z) - GitRank: A Framework to Rank GitHub Repositories [0.0]
オープンソースリポジトリは豊富な情報を提供し、人工知能(AI)ベースのシステムの構築にますます利用されている。
このハッカソンでは、既知のコード品質測定とGrimoireLabツールキットを使用して、GitRankという名前のフレームワークを実装し、オープンソースのリポジトリを3つの異なる基準でランク付けします。
論文 参考訳(メタデータ) (2022-05-04T23:42:30Z) - Benchmarking Quality-Dependent and Cost-Sensitive Score-Level Multimodal
Biometric Fusion Algorithms [58.156733807470395]
本稿では,BioSecure DS2 (Access Control) 評価キャンペーンの枠組み内で実施したベンチマーク研究について報告する。
キャンペーンは、約500人の中規模施設における物理的アクセス制御の適用を目標とした。
我々の知る限りでは、これは品質ベースのマルチモーダル融合アルゴリズムをベンチマークする最初の試みである。
論文 参考訳(メタデータ) (2021-11-17T13:39:48Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳(メタデータ) (2021-05-20T17:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。