論文の概要: CODECLEANER: Elevating Standards with A Robust Data Contamination Mitigation Toolkit

• arxiv url: http://arxiv.org/abs/2411.10842v1
• Date: Sat, 16 Nov 2024 17:06:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:10.274919
• Title: CODECLEANER: Elevating Standards with A Robust Data Contamination Mitigation Toolkit
• Title（参考訳）: CODECLEANER:ロバストなデータ汚染軽減ツールキットによる標準化
• Authors: Jialun Cao, Songqiang Chen, Wuqi Zhang, Hau Ching Lo, Shing-Chi Cheung,
• Abstract要約: データ汚染は、コード言語モデルを活用するソフトウェアエンジニアリング技術の普及を妨げている。 本稿では, 産業用コード演算子の複数スケールにおける有効性を検討するための最初の体系的な研究について述べる。
• 参考スコア（独自算出の注目度）: 7.869353460612451
• License:
• Abstract: Data contamination presents a critical barrier preventing widespread industrial adoption of advanced software engineering techniques that leverage code language models (CLMs). This phenomenon occurs when evaluation data inadvertently overlaps with the public code repositories used to train CLMs, severely undermining the credibility of performance evaluations. For software companies considering the integration of CLM-based techniques into their development pipeline, this uncertainty about true performance metrics poses an unacceptable business risk. Code refactoring, which comprises code restructuring and variable renaming, has emerged as a promising measure to mitigate data contamination. It provides a practical alternative to the resource-intensive process of building contamination-free evaluation datasets, which would require companies to collect, clean, and label code created after the CLMs' training cutoff dates. However, the lack of automated code refactoring tools and scientifically validated refactoring techniques has hampered widespread industrial implementation. To bridge the gap, this paper presents the first systematic study to examine the efficacy of code refactoring operators at multiple scales (method-level, class-level, and cross-class level) and in different programming languages. In particular, we develop an open-sourced toolkit, CODECLEANER, which includes 11 operators for Python, with nine method-level, one class-level, and one cross-class-level operator. A drop of 65% overlap ratio is found when applying all operators in CODECLEANER, demonstrating their effectiveness in addressing data contamination. Additionally, we migrate four operators to Java, showing their generalizability to another language. We make CODECLEANER online available to facilitate further studies on mitigating CLM data contamination.
• Abstract（参考訳）: データ汚染は、コード言語モデル(CLM)を活用する先進的なソフトウェア工学技術の普及を阻害する重要な障壁となる。 この現象は、評価データがCLMのトレーニングに使用される公開コードリポジトリと不注意に重複し、パフォーマンス評価の信頼性を著しく損なう場合に発生する。 CLMベースのテクニックを開発パイプラインに統合することを検討するソフトウェア企業にとって、真のパフォーマンス指標に対する不確実性は、受け入れられないビジネスリスクをもたらします。 コード再構成と変数リネームを含むコードリファクタリングは、データの汚染を軽減するための有望な手段として登場した。 これは、汚染のない評価データセットを構築するためのリソース集約的なプロセスの実践的な代替手段を提供する。 しかし、自動リファクタリングツールや科学的に検証されたリファクタリング技術が欠如しているため、幅広い産業的実装が妨げられている。 このギャップを埋めるために,複数スケールのコードリファクタリング演算子(メソッドレベル,クラスレベル,クラスレベル)と異なるプログラミング言語において,コードリファクタリング演算子の有効性について検討する。 特に,CODECLEANERというオープンソースツールキットを開発し,Python用の演算子を11個,メソッドレベルが9個,クラスレベルが1個,クラスレベルが1個備えている。 CODECLEANERのすべての演算子を適用し、データ汚染に対処する効果を示すと、65%のオーバーラップ比が低下する。 さらに、4つの演算子をJavaに移行し、その一般化性を他の言語に示す。 我々はCODECLEANERをオンラインで公開し、CLMデータの汚染軽減に関するさらなる研究を促進する。

関連論文リスト

• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• Enhancing Fault Localization Through Ordered Code Analysis with LLM Agents and Self-Reflection [8.22737389683156]
  大規模言語モデル(LLM)は、コード理解と推論を強化することによって、フォールトローカライゼーションの有望な改善を提供する。 LLM4FL は,SBFL ランキングと配当戦略を統合した新しい LLM4FL の故障局所化手法である。 以上の結果から,LLM4FLはTop-1の精度でAutoFLを19.27%上回り,DeepFLやGraceといった最先端の監視技術を上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T16:47:34Z)
• An Exploratory Study on Fine-Tuning Large Language Models for Secure Code Generation [17.69409515806874]
  脆弱性修正コミットのデータセット上での微調整済みのLLMがセキュアなコード生成を促進するかどうかを探索研究する。 オープンソースのリポジトリから、確認済みの脆弱性のコード修正を収集することで、セキュアなコード生成のための微調整データセットをクロールしました。 我々の調査によると、微調整のLLMは、C言語で6.4%、C++言語で5.4%、セキュアなコード生成を改善することができる。
  論文  参考訳（メタデータ） (2024-08-17T02:51:27Z)
• Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning [4.975728472540823]
  各種クラスタリングとプルーニングのメトリクスを統合して、生成されたコードの正確性や機能を損なうことなく、トレーニングデータを選択的に削減する手法を提案する。 実験により,これらのプルーニング戦略は,必要な計算資源を削減するだけでなく,全体的な品質コード生成を向上することが示された。
  論文  参考訳（メタデータ） (2024-07-06T10:30:43Z)
• Concerned with Data Contamination? Assessing Countermeasures in Code Language Model [8.81329299090667]
  SEタスクのコード言語モデル(CLM)の機能を活用するために、さまざまなテクニックが提案されている。 データ汚染の脅威を軽減するために、さまざまな対策が提案されている。 汚染データと浄化データに対するCLMの性能差を調べた結果,これらの対策の効果について検討した。
  論文  参考訳（メタデータ） (2024-03-25T16:10:25Z)
• Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
  本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。 我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
  論文  参考訳（メタデータ） (2024-02-20T13:56:38Z)
• From Misuse to Mastery: Enhancing Code Generation with Knowledge-Driven AI Chaining [16.749379740049925]
  大きな言語モデル(LLM)は、コーディング効率をある程度改善することで、自動コード生成の有望な結果を示している。 しかし、LLMが優れたプログラミングプラクティスを欠いているため、高品質で信頼性の高いコードを生成することは、依然として恐ろしい作業である。 我々は、コード生成を反復的なチェック-リライトステップでAIチェーンに分解する、知識駆動型Prompt Chainingベースのコード生成手法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T12:09:07Z)
• PEOPL: Characterizing Privately Encoded Open Datasets with Public Labels [59.66777287810985]
  プライバシとユーティリティのための情報理論スコアを導入し、不誠実なユーザの平均パフォーマンスを定量化する。 次に、ランダムなディープニューラルネットワークの使用を動機付ける符号化スキームのファミリーを構築する際のプリミティブを理論的に特徴づける。
  論文  参考訳（メタデータ） (2023-03-31T18:03:53Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。