論文の概要: MTGP: Combining Metamorphic Testing and Genetic Programming
- arxiv url: http://arxiv.org/abs/2301.08665v1
- Date: Fri, 20 Jan 2023 16:35:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-23 12:52:50.637637
- Title: MTGP: Combining Metamorphic Testing and Genetic Programming
- Title(参考訳): MTGP: メタモルフィックテストと遺伝的プログラミングを組み合わせる
- Authors: Dominik Sobania, Martin Briesch, Philipp R\"ochner, Franz Rothlauf
- Abstract要約: 遺伝的プログラミングは、現実世界のソフトウェア開発で実用的に使えるほど十分に成熟していない。
メタモルフィックテストと遺伝的プログラミングを組み合わせたMTGPを提案する。
メタモルフィックテストとラベル付きトレーニングケースを組み合わせることで,より高い一般化率が得られることがわかった。
- 参考スコア(独自算出の注目度): 1.6058099298620425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Genetic programming is an evolutionary approach known for its performance in
program synthesis. However, it is not yet mature enough for a practical use in
real-world software development, since usually many training cases are required
to generate programs that generalize to unseen test cases. As in practice, the
training cases have to be expensively hand-labeled by the user, we need an
approach to check the program behavior with a lower number of training cases.
Metamorphic testing needs no labeled input/output examples. Instead, the
program is executed multiple times, first on a given (randomly generated)
input, followed by related inputs to check whether certain user-defined
relations between the observed outputs hold. In this work, we suggest MTGP,
which combines metamorphic testing and genetic programming and study its
performance and the generalizability of the generated programs. Further, we
analyze how the generalizability depends on the number of given labeled
training cases. We find that using metamorphic testing combined with labeled
training cases leads to a higher generalization rate than the use of labeled
training cases alone in almost all studied configurations. Consequently, we
recommend researchers to use metamorphic testing in their systems if the
labeling of the training data is expensive.
- Abstract(参考訳): 遺伝的プログラミングは、プログラム合成の性能で知られている進化的アプローチである。
しかし、実世界のソフトウェア開発で実用化するには、まだ成熟していない。通常、テストケースを一般化するプログラムを生成するために多くのトレーニングケースが必要となるからだ。
実際に、トレーニングケースはユーザによって高価に手作業でラベル付けされる必要があり、より少ない数のトレーニングケースでプログラムの動作をチェックするアプローチが必要である。
メタモルフィックテストにはラベル付きインプット/アウトプットの例は必要ない。
代わりに、プログラムは、最初に与えられた(ランダムに生成された)入力で複数回実行され、続いて関連する入力が、観測された出力間の特定のユーザー定義関係が保持しているかどうかをチェックする。
本研究では,メタモルフィックテストと遺伝的プログラミングを組み合わせたMTGPを提案し,その性能と生成プログラムの一般化性について検討する。
さらに,与えられたラベル付きトレーニングケースの数に一般化可能性がどのように依存するかを分析する。
メタモルフィックテストとラベル付きトレーニングケースを組み合わせることで、ほぼすべての構成でラベル付きトレーニングケースのみを使用するよりも、一般化率が高いことが分かりました。
したがって、トレーニングデータのラベル付けが高価であれば、システムでメタモルフィックテストを使用することを研究者に勧める。
関連論文リスト
- Generational Computation Reduction in Informal Counterexample-Driven Genetic Programming [3.3748750222488657]
逆example-driven genetic programming(CDGP)は、進化するプログラムを評価するために使用されるトレーニングケースを生成するために、形式的な制約として提供される仕様を使用する。
ユーザが提供するトレーニングデータのみを用いて,CDGPの基盤となる考え方を,正式な仕様なしで適用可能であることを示す。
論文 参考訳(メタデータ) (2024-08-08T01:06:28Z) - Bounding Random Test Set Size with Computational Learning Theory [0.2999888908665658]
私たちは、この質問に答えるための確率論的アプローチが、テストコンテキストにどのように適用できるかを示します。
私たちは、ソースコードのカバレッジターゲットの数だけを知ることで、これを最初に実現しています。
大規模なJavaユニットと自律運転システムで、この境界を検証します。
論文 参考訳(メタデータ) (2024-05-27T10:15:16Z) - Code Representation Pre-training with Complements from Program
Executions [29.148208436656216]
テストケースで明らかになったプログラムの動的情報を調べ,それを補体としてコードの特徴表現に埋め込むために,FuzzPretrainを提案する。
FuzzyPretrainは、ソースコードやASTのみをトレーニングしたコード検索に対して、6%/9%のmAP改善を実現した。
論文 参考訳(メタデータ) (2023-09-04T01:57:22Z) - AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。
この問題に対処するためにテスト時適応(TTA)手法が提案されている。
本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
論文 参考訳(メタデータ) (2023-04-25T04:23:13Z) - CodeT: Code Generation with Generated Tests [49.622590050797236]
テストケースを自動的に生成するための事前学習言語モデルについて検討する。
CodeTは生成されたテストケースを使ってコードソリューションを実行し、次に最良のソリューションを選択します。
我々は,HumanEvalとMBPPのベンチマークを用いて,5種類の事前学習モデル上でCodeTを評価する。
論文 参考訳(メタデータ) (2022-07-21T10:18:37Z) - Fault-Aware Neural Code Rankers [64.41888054066861]
サンプルプログラムの正しさを予測できる故障認識型ニューラルネットワークローダを提案する。
我々のフォールト・アウェア・ローダは、様々なコード生成モデルのpass@1精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2022-06-04T22:01:05Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳(メタデータ) (2022-05-28T03:31:07Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳(メタデータ) (2021-07-13T03:48:04Z) - Soft Genetic Programming Binary Classifiers [0.0]
ソフト」遺伝的プログラミング(SGP)が開発され、論理演算木はより柔軟になり、データセットに依存性を見出すことができる。
本稿では,SGP手法を用いたバイナリ分類器の構成法について述べる。
論文 参考訳(メタデータ) (2021-01-21T17:43:11Z) - Unshuffling Data for Improved Generalization [65.57124325257409]
トレーニングディストリビューションを越えた一般化は、マシンラーニングにおける中核的な課題である。
本研究では,複数の学習環境として扱われる非d.d.サブセットにデータを分割することで,アウト・オブ・ディストリビューションの一般化を向上したモデル学習を導出できることを示す。
論文 参考訳(メタデータ) (2020-02-27T03:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。