論文の概要: Are Machine Programming Systems using Right Source-Code Measures to Select Code Repositories?

• arxiv url: http://arxiv.org/abs/2209.11946v1
• Date: Sat, 24 Sep 2022 07:34:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 15:13:04.950662
• Title: Are Machine Programming Systems using Right Source-Code Measures to Select Code Repositories?
• Title（参考訳）: 正しいソースコード対策を用いた機械プログラミングシステムはコードリポジトリを選択するか?
• Authors: Niranjan Hasabnis
• Abstract要約: 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野である。 MPシステムは、コードとプログラミングに関する興味深い特性を学ぶために、大量のオープンソースコードに依存することが多い。 MPシステムは、コードリポジトリの品質を考慮していないか、非定型的な品質対策を使っている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine programming (MP) is an emerging field at the intersection of deterministic and probabilistic computing, and it aims to assist software and hardware engineers, among other applications. Along with powerful compute resources, MP systems often rely on vast amount of open-source code to learn interesting properties about code and programming and solve problems in the areas of debugging, code recommendation, auto-completion, etc. Unfortunately, several of the existing MP systems either do not consider quality of code repositories or use atypical quality measures than those typically used in software engineering community to select them. As such, impact of quality of code repositories on the performance of these systems needs to be studied. In this preliminary paper, we evaluate impact of different quality repositories on the performance of a candidate MP system. Towards that objective, we develop a framework, named GitRank, to rank open-source repositories on quality, maintainability, and popularity by leveraging existing research on this topic. We then apply GitRank to evaluate correlation between the quality measures used by the candidate MP system and the quality measures used by our framework. Our preliminary results reveal some correlation between the quality measures used in GitRank and ControlFlag's performance, suggesting that some of the measures used in GitRank are applicable to ControlFlag. But it also raises questions around right quality measures for code repositories used in MP systems. We believe that our findings also generate interesting insights towards code quality measures that affect performance of MP systems.
• Abstract（参考訳）: 機械プログラミング(英: Machine Programming、MP)は、決定論的および確率論的コンピューティングの交差点における新興分野であり、ソフトウェア技術者やハードウェアエンジニアを支援することを目的としている。 強力な計算リソースに加えて、MPシステムは、コードとプログラミングに関する興味深い特性を学び、デバッグやコードレコメンデーション、自動補完といった分野の問題を解決するために、大量のオープンソースコードに依存することが多い。 残念ながら、既存のMPシステムのいくつかは、コードリポジトリの品質を考慮していないか、ソフトウェア工学コミュニティで一般的に使われているものよりも非定型的な品質対策を使っている。 そのため、コードリポジトリの品質がこれらのシステムの性能に与える影響を研究する必要がある。 本稿では,mpシステム候補の性能に及ぼす品質の異なるリポジトリの影響について評価する。 その目的に向けて、我々はGitRankという名のフレームワークを開発し、このトピックに関する既存の研究を活用して、オープンソースのリポジトリの品質、保守性、人気をランク付けします。 次にgitrankを用いて,mpの候補システムで使用する品質指標と,そのフレームワークで使用する品質指標との相関性を評価する。 予備的な結果から,gitrank における品質指標と controlflag の性能の相関関係が明らかとなり,gitrank で使用されるいくつかの指標が controlflag に適用可能であることが示唆された。 しかし、MPシステムで使用されるコードリポジトリの適切な品質対策についても疑問を投げかける。 我々は,MPシステムの性能に影響を及ぼすコード品質対策に関する興味深い洞察も得られると考えている。

関連論文リスト

• On Iterative Evaluation and Enhancement of Code Quality Using GPT-4o [1.5960340244043023]
  本稿では,Large Language Models (LLM) を利用したコード品質の反復評価と向上のための新しいフレームワークであるCodeQUESTを紹介する。 フレームワークは2つの主要なコンポーネントに分割されている。10次元にわたるコード品質を評価し、定量スコアと定性的な要約の両方を提供する評価器。 本研究は,CodeQUESTが既存のコード品質指標と整合して,コード品質を効果的かつ堅牢に評価できることを実証する。
  論文  参考訳（メタデータ） (2025-02-11T09:27:00Z)
• CoReQA: Uncovering Potentials of Language Models in Code Repository Question Answering [12.431784613373523]
  Code Repositoryレベルの質問応答のベンチマークであるCoReQAを紹介する。 CoReQAはGitHubのイシューと4つのプログラミング言語にまたがる176の人気のあるリポジトリからのコメントから構築された。 我々は、現在最先端のプロプライエタリおよび長期コンテキストモデルがリポジトリレベルの問題に効果的に取り組むのに苦労していることを示します。
  論文  参考訳（メタデータ） (2025-01-07T00:24:07Z)
• DOCE: Finding the Sweet Spot for Execution-Based Code Generation [69.5305729627198]
  本稿では,候補生成,$n$-best再ランク,最小ベイズリスク(MBR)復号化,自己老化などを含む包括的フレームワークを提案する。 本研究は,実行ベースメソッドの重要性と,実行ベースメソッドと実行フリーメソッドとの差を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T07:10:36Z)
• CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
  検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。 まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。 CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
  論文  参考訳（メタデータ） (2024-06-20T16:59:52Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• RepoAgent: An LLM-Powered Open-Source Framework for Repository-level Code Documentation Generation [79.83270415843857]
  コードドキュメンテーションを積極的に生成、保守、更新することを目的とした、大規模な言語モデルによるオープンソースフレームワークであるRepoAgentを紹介します。 RepoAgentは高品質なリポジトリレベルのドキュメントを生成するのに優れています。
  論文  参考訳（メタデータ） (2024-02-26T15:39:52Z)
• CodePori: Large-Scale System for Autonomous Software Development Using Multi-Agent Technology [4.2990995991059275]
  大規模言語モデル(LLM)とGPT(Generative Pre-trained Transformer)は、ソフトウェア工学の分野を変えました。 我々は,大規模かつ複雑なソフトウェアプロジェクトのコード生成を自動化するように設計された,新しいシステムであるCodePoriを紹介する。 結果: CodePoriは、典型的なソフトウェア開発プロセスに合わせて、大規模プロジェクトの実行コードを生成することができる。
  論文  参考訳（メタデータ） (2024-02-02T13:42:50Z)
• Finding Software Vulnerabilities in Open-Source C Projects via Bounded Model Checking [2.9129603096077332]
  我々は,汎用ソフトウェアシステムの脆弱性を効果的に検出できる境界モデル検査手法を提唱する。 我々は,最先端の有界モデルチェッカーを用いて,大規模ソフトウェアシステムを検証する手法を開発し,評価した。
  論文  参考訳（メタデータ） (2023-11-09T11:25:24Z)
• Lessons from Formally Verified Deployed Software Systems (Extended version) [65.69802414600832]
  本稿は、正式に認証されたシステムを作成し、実際に使用するためにデプロイした各種のアプリケーション分野のプロジェクトについて検討する。 使用する技術、適用の形式、得られた結果、そしてソフトウェア産業が形式的な検証技術やツールの恩恵を受ける能力について示すべき教訓を考察する。
  論文  参考訳（メタデータ） (2023-01-05T18:18:46Z)
• GitRank: A Framework to Rank GitHub Repositories [0.0]
  オープンソースリポジトリは豊富な情報を提供し、人工知能(AI)ベースのシステムの構築にますます利用されている。 このハッカソンでは、既知のコード品質測定とGrimoireLabツールキットを使用して、GitRankという名前のフレームワークを実装し、オープンソースのリポジトリを3つの異なる基準でランク付けします。
  論文  参考訳（メタデータ） (2022-05-04T23:42:30Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。