論文の概要: BenchPress: A Deep Active Benchmark Genertor
- arxiv url: http://arxiv.org/abs/2208.06555v1
- Date: Sat, 13 Aug 2022 03:00:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:32:19.567628
- Title: BenchPress: A Deep Active Benchmark Genertor
- Title(参考訳): benchpress: 深いアクティブなベンチマークジェネレータ
- Authors: Foivos Tsimpourlas, Pavlos Petoumenos, Min Xu, Chris Cummins, Kim
Hazelwood, Ajitha Rajan and Hugh Leather
- Abstract要約: 我々は,ソースコードの特徴空間表現にステアリング可能な,コンパイラ用の最初のMLベンチマークジェネレータであるBenchPressを開発した。
BenchPressは、空または既存のシーケンスの任意の部分に新しいコードを追加することで、コンパイル関数を合成する。
CLgenよりも10倍もユニークなOpenCLベンチマークをコンパイルし、より大きく、多種多様である。
- 参考スコア(独自算出の注目度): 7.194212461947882
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We develop BenchPress, the first ML benchmark generator for compilers that is
steerable within feature space representations of source code. BenchPress
synthesizes compiling functions by adding new code in any part of an empty or
existing sequence by jointly observing its left and right context, achieving
excellent compilation rate. BenchPress steers benchmark generation towards
desired target features that has been impossible for state of the art
synthesizers (or indeed humans) to reach. It performs better in targeting the
features of Rodinia benchmarks in 3 different feature spaces compared with (a)
CLgen - a state of the art ML synthesizer, (b) CLSmith fuzzer, (c) SRCIROR
mutator or even (d) human-written code from GitHub. BenchPress is the first
generator to search the feature space with active learning in order to generate
benchmarks that will improve a downstream task. We show how using BenchPress,
Grewe's et al. CPU vs GPU heuristic model can obtain a higher speedup when
trained on BenchPress's benchmarks compared to other techniques. BenchPress is
a powerful code generator: Its generated samples compile at a rate of 86%,
compared to CLgen's 2.33%. Starting from an empty fixed input, BenchPress
produces 10x more unique, compiling OpenCL benchmarks than CLgen, which are
significantly larger and more feature diverse.
- Abstract(参考訳): 我々は,ソースコードの特徴空間表現にステアリング可能な,コンパイラ用の最初のMLベンチマークジェネレータであるBenchPressを開発した。
BenchPressは、左と右のコンテキストを共同で観察することで、空または既存のシーケンスの任意の部分に新しいコードを追加することで、コンパイル機能を合成する。
benchpressは、アートシンセサイザー(あるいは実際に人間)が到達できないような、望ましいターゲット機能に向けてベンチマーク生成を行う。
ロジニアベンチマークの特徴を3つの異なる特徴空間でターゲティングすることで、パフォーマンスが向上する。
(a)CLgen-アートMLシンセサイザーの状態。
b)clsmith fuzzer。
(c)SRCIRORミュータ、さらには
(d) GitHubから人間が書いたコード。
BenchPressは、下流タスクを改善するベンチマークを生成するために、アクティブな学習でフィーチャースペースを検索する最初のジェネレータである。
ベンチプレス、グローヴズなどの使い方をお見せします。
cpu対gpuのヒューリスティックモデルは、benchpressのベンチマークで他の手法よりも高いスピードアップが得られる。
BenchPressは強力なコードジェネレータである。生成されたサンプルはCLgenの2.33%に比べて86%の割合でコンパイルされる。
空の固定入力から始めると、BenchPressはCLgenよりも10倍ユニークなOpenCLベンチマークを生成する。
関連論文リスト
- GPTCloneBench: A comprehensive benchmark of semantic clones and
cross-language clones using GPT-3 model and SemanticCloneBench [1.8687918300580921]
本稿では,SemanticCloneBenchとOpenAIのGPT-3モデルを利用して,包括的セマンティッククローンと言語間クローンベンチマークGPTCloneBenchを提案する。
GPT-3出力の79,928個のクローンペアから、37,149個の真のセマンティッククローンペア、19,288個の偽セマンティックペア(Type-1/Type-2)、および4言語(Java、C、C#、Python)にわたる20,770個のクロス言語クローンのベンチマークを作成しました。
論文 参考訳(メタデータ) (2023-08-26T21:50:34Z) - Exploring Continual Learning for Code Generation Models [80.78036093054855]
継続的学習(CL)は、コードドメインの中でまだ過小評価されていない重要な側面である。
コード生成,翻訳,要約,改良など,幅広いタスクをカバーするCodeTask-CLというベンチマークを導入する。
即時選択機構の不安定な訓練により,プロンプトプール (PP) などの有効手法が破滅的な忘れ込みに悩まされることが判明した。
論文 参考訳(メタデータ) (2023-07-05T16:58:39Z) - Evaluation of OpenAI Codex for HPC Parallel Programming Models Kernel
Generation [1.7646846505225735]
高性能コンピューティングにおける基本数値カーネル上でのAI支援生成能力の評価を行った。
生成したカーネルコードを様々な言語対応プログラミングモデルでテストする。
本稿では,各プロンプトに対して与えられた10のプロンプトに関する習熟度尺度を提案する。
論文 参考訳(メタデータ) (2023-06-27T00:11:31Z) - RepoBench: Benchmarking Repository-Level Code Auto-Completion Systems [43.797002322559834]
RepoBenchは、コードの自動補完システムを評価するためのベンチマークである。
RepoBench-R (Retrieval)、RepoBench-C (Code Completion)、RepoBench-P (Pipeline)の3つの評価タスクで構成されている。
論文 参考訳(メタデータ) (2023-06-05T17:59:41Z) - HDCC: A Hyperdimensional Computing compiler for classification on
embedded systems and high-performance computing [58.720142291102135]
この研究は、HDC分類メソッドの高レベルな記述を最適化されたCコードに変換する最初のオープンソースコンパイラである、ネームコンパイラを紹介している。
nameは現代のコンパイラのように設計されており、直感的で記述的な入力言語、中間表現(IR)、再ターゲット可能なバックエンドを備えている。
これらの主張を裏付けるために,HDC文献で最もよく使われているデータセットについて,HDCCを用いて実験を行った。
論文 参考訳(メタデータ) (2023-04-24T19:16:03Z) - BenchDirect: A Directed Language Model for Compiler Benchmarks [7.194212461947882]
ソースコードの特徴表現内で指向できる最初のMLコンパイラベンチマークジェネレータであるBenchPressを開発した。
アクティブラーニングを使用して、Grewe氏らによるCPU対GPUのデータセットに目に見えない機能を備えた新しいベンチマークを導入し、取得したパフォーマンスを50%改善しました。
3つの特徴空間では、Rodiniaベンチマークの機能をターゲットにして、GitHub、CLgen、CLSmith、SRCIROR mutatorからの人書きコードよりも優れています。
論文 参考訳(メタデータ) (2023-03-02T20:17:24Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳(メタデータ) (2022-08-11T17:41:08Z) - SMORE: Knowledge Graph Completion and Multi-hop Reasoning in Massive
Knowledge Graphs [147.73127662757335]
我々は、知識グラフ(KG)におけるシングルホップおよびマルチホップ推論のための最初の汎用フレームワークであるスケーラブルなマルチホップ推論(SMORE)を提案する。
シングルマシンのSMOREはFreebase KG(86Mエンティティ、338Mエッジ)でマルチホップ推論を行うことができる。
SMOREは、従来のマルチホップKGフレームワークよりもスループット(トレーニング速度)を、最小のGPUメモリ要件で2.2倍向上させる。
論文 参考訳(メタデータ) (2021-10-28T05:02:33Z) - Codabench: Flexible, Easy-to-Use and Reproducible Benchmarking for
Everyone [45.673814384050004]
Codabenchは、データセットやタスクに対して、アルゴリズムやソフトウェアエージェントをベンチマークするための、オープンソースでコミュニティ主導のプラットフォームです。
Codabenchのパブリックインスタンスは誰でも無料で公開されている。
論文 参考訳(メタデータ) (2021-10-12T07:54:34Z) - Contrastive Code Representation Learning [95.86686147053958]
一般的な再構成に基づくBERTモデルは,ソースコードの編集に敏感であることを示す。
コントラコード(ContraCode)は、コード機能を学ぶのにフォームではなく、コントラスト的な事前学習タスクである。
論文 参考訳(メタデータ) (2020-07-09T17:59:06Z) - Synthesizer: Rethinking Self-Attention in Transformer Models [93.08171885200922]
ドット積の自己アテンションは、最先端のトランスフォーマーモデルでは不可欠である。
本稿では,ドット製品に基づく自己認識機構がトランスフォーマーモデルの性能に与える影響について検討する。
論文 参考訳(メタデータ) (2020-05-02T08:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。