論文の概要: MADE-WIC: Multiple Annotated Datasets for Exploring Weaknesses In Code
- arxiv url: http://arxiv.org/abs/2408.05163v1
- Date: Fri, 9 Aug 2024 16:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:16:46.993671
- Title: MADE-WIC: Multiple Annotated Datasets for Exploring Weaknesses In Code
- Title(参考訳): MADE-WIC:コードの弱さを探索する複数のアノテーション付きデータセット
- Authors: Moritz Mock, Jorge Melegati, Max Kretschmann, Nicolás E. Díaz Ferreyra, Barbara Russo,
- Abstract要約: MADE-WICは、機能とコメントの大規模なデータセットであり、技術的負債とコードの弱点に対する複数のアノテーションがある。
約860Kのコード関数と、12のオープンソースプロジェクトからの2.7M以上の関連コメントが含まれている。
- 参考スコア(独自算出の注目度): 2.399010142304227
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we present MADE-WIC, a large dataset of functions and their comments with multiple annotations for technical debt and code weaknesses leveraging different state-of-the-art approaches. It contains about 860K code functions and more than 2.7M related comments from 12 open-source projects. To the best of our knowledge, no such dataset is publicly available. MADE-WIC aims to provide researchers with a curated dataset on which to test and compare tools designed for the detection of code weaknesses and technical debt. As we have fused existing datasets, researchers have the possibility to evaluate the performance of their tools by also controlling the bias related to the annotation definition and dataset construction. The demonstration video can be retrieved at https://www.youtube.com/watch?v=GaQodPrcb6E.
- Abstract(参考訳): 本稿では,多種多様な最先端アプローチを活用した技術的負債とコードの弱点に対する注釈付き関数とコメントの大規模なデータセットであるMADE-WICを提案する。
約860Kのコード関数と、12のオープンソースプロジェクトからの2.7M以上の関連コメントが含まれている。
私たちの知る限りでは、そのようなデータセットは公開されていません。
MADE-WICは、コード弱点と技術的負債を検出するために設計されたツールのテストと比較を行う、キュレートされたデータセットを研究者に提供することを目的としている。
既存のデータセットを融合させた結果,アノテーション定義やデータセット構築に関するバイアスを制御することで,ツールのパフォーマンスを評価することが可能になった。
デモビデオはhttps://www.youtube.com/watch?
v=GaQodPrcb6E。
関連論文リスト
- DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳(メタデータ) (2024-07-01T18:58:22Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
VersiCodeは,大規模言語モデルが特定のライブラリのバージョンに対して検証可能なコードを生成する能力を評価するために設計された,最初の包括的なデータセットである。
バージョン別コード補完(VSCC)とバージョン別コード編集(VACE)の2つの専用評価タスクを設計する。
LLMのパフォーマンスをベンチマークするために総合的な実験が行われ、これらのタスクとVersiCodeの難しさを明らかにしている。
論文 参考訳(メタデータ) (2024-06-11T16:15:06Z) - On Training a Neural Network to Explain Binaries [43.27448128029069]
本研究では,バイナリコード理解のタスクにおいて,ディープニューラルネットワークをトレーニングする可能性を検討する。
私たちは、Stack Overflowの1.1Mエントリを含むキャプチャから派生した、独自のデータセットを構築しています。
論文 参考訳(メタデータ) (2024-04-30T15:34:51Z) - All Data on the Table: Novel Dataset and Benchmark for Cross-Modality
Scientific Information Extraction [39.05577374775964]
本稿では,テキスト中のエンティティをアノテートする半教師付きパイプラインと,テーブル内のエンティティとリレーションを反復的に提案する。
我々は,高品質なベンチマーク,大規模コーパス,半教師付きアノテーションパイプラインなど,科学コミュニティのための新たなリソースをリリースする。
論文 参考訳(メタデータ) (2023-11-14T14:22:47Z) - DAppSCAN: Building Large-Scale Datasets for Smart Contract Weaknesses in
DApp Projects [28.841564946449463]
DAPPSCAN-SOURCEデータセットは39,904のSolidityファイルで構成される。
DAPPSCAN-BYTECODEデータセットは6,665のコンパイルされたスマートコントラクトで構成され、888のSWC弱点がある。
DAPPSCAN-BYTECODEに基づいて,最先端のスマートコントラクト弱点検出ツールの性能評価実験を行った。
論文 参考訳(メタデータ) (2023-05-15T08:56:13Z) - JEMMA: An Extensible Java Dataset for ML4Code Applications [34.76698017961728]
我々は、機械学習・フォー・ソース・コード(ML4Code)をターゲットにした大規模で多様な高品質なデータセットであるJEMMAを紹介した。
JEMMAの目標は、ソースコードモデルとタスクを試すためのビルディングブロックを提供することで、ML4Codeへの参入障壁を低くすることにあります。
JEMMAには、メタデータ、表現(コードトークン、AST、グラフなど)、いくつかのプロパティといった、かなり多くの事前処理された情報が含まれている。
論文 参考訳(メタデータ) (2022-12-18T17:04:14Z) - KACC: A Multi-task Benchmark for Knowledge Abstraction, Concretization
and Completion [99.47414073164656]
包括的知識グラフ(KG)は、インスタンスレベルのエンティティグラフとオントロジーレベルの概念グラフを含む。
2ビューのKGは、知識の抽象化、包括化、完成に関する人間の能力を「シミュレーション」するためのモデルのためのテストベッドを提供する。
我々は,データセットのスケール,タスクカバレッジ,難易度の観点から,既存のベンチマークを改善した統一KGベンチマークを提案する。
論文 参考訳(メタデータ) (2020-04-28T16:21:57Z) - Rapidly Bootstrapping a Question Answering Dataset for COVID-19 [88.86456834766288]
我々は、新型コロナウイルスに特化して設計された質問応答データセットの始まりであるCovidQAを紹介する。
これは、そのタイプの最初の公開リソースであり、より実質的な評価資源が利用可能になるまで研究を導くためのストップギャップとして意図されている。
論文 参考訳(メタデータ) (2020-04-23T17:35:11Z) - How Useful is Self-Supervised Pretraining for Visual Tasks? [133.1984299177874]
我々は、総合的な合成データセットと下流タスクにまたがる様々な自己教師付きアルゴリズムを評価する。
我々の実験は、利用可能なラベルの数が増えるにつれて、セルフスーパービジョンの有用性がどう変化するかについての洞察を提供する。
論文 参考訳(メタデータ) (2020-03-31T16:03:22Z) - Comprehensive Instructional Video Analysis: The COIN Dataset and
Performance Evaluation [100.68317848808327]
包括的インストラクショナルビデオ解析のための大規模データセット「COIN」を提案する。
COINデータセットには、日々の生活に関連する12の領域で180のタスクの11,827の動画が含まれている。
新しい開発ツールボックスでは、すべてのビデオに一連のステップラベルと対応する時間境界がアノテートされる。
論文 参考訳(メタデータ) (2020-03-20T16:59:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。