論文の概要: Mutation Testing of Deep Reinforcement Learning Based on Real Faults
- arxiv url: http://arxiv.org/abs/2301.05651v1
- Date: Fri, 13 Jan 2023 16:45:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 15:20:25.862270
- Title: Mutation Testing of Deep Reinforcement Learning Based on Real Faults
- Title（参考訳）: 実断層に基づく深部強化学習の突然変異試験
- Authors: Florian Tambon, Vahid Majdinasab, Amin Nikanjam, Foutse Khomh,
Giuliano Antonio
- Abstract要約: 本稿では,MT(Reinforcement Learning, 強化学習)システムに拡張するために,既存のMT(Mutation Testing)アプローチに基づいて構築する。
本研究は, 突然変異致死定義の設計選択が, 生成したテストケースだけでなく, 変異が致死するか否かにも影響を及ぼすことを示す。
- 参考スコア（独自算出の注目度）: 11.584571002297217
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Testing Deep Learning (DL) systems is a complex task as they do not behave
like traditional systems would, notably because of their stochastic nature.
Nonetheless, being able to adapt existing testing techniques such as Mutation
Testing (MT) to DL settings would greatly improve their potential
verifiability. While some efforts have been made to extend MT to the Supervised
Learning paradigm, little work has gone into extending it to Reinforcement
Learning (RL) which is also an important component of the DL ecosystem but
behaves very differently from SL. This paper builds on the existing approach of
MT in order to propose a framework, RLMutation, for MT applied to RL. Notably,
we use existing taxonomies of faults to build a set of mutation operators
relevant to RL and use a simple heuristic to generate test cases for RL. This
allows us to compare different mutation killing definitions based on existing
approaches, as well as to analyze the behavior of the obtained mutation
operators and their potential combinations called Higher Order Mutation(s)
(HOM). We show that the design choice of the mutation killing definition can
affect whether or not a mutation is killed as well as the generated test cases.
Moreover, we found that even with a relatively small number of test cases and
operators we manage to generate HOM with interesting properties which can
enhance testing capability in RL systems.
- Abstract（参考訳）: ディープラーニング(DL)システムのテストは、従来のシステムのように振る舞わないため、複雑なタスクである。
それでも、ミューテーションテスト(MT)のような既存のテスト技術をDL設定に適合させることで、潜在的な妥当性が大幅に向上する。
mtを教師あり学習パラダイムに拡張する動きはいくつかあるが、dlエコシステムの重要な要素であるがslとは全く異なる振る舞いを持つ強化学習(rl)にまで拡張する作業はほとんど行われていない。
本稿では,RTL に適用した MT のフレームワーク RLMutation を提案するために,既存の MT のアプローチに基づいて構築する。
特に、既存の障害分類を用いて、RLに関連する一連の突然変異演算子を構築し、簡単なヒューリスティックを用いてRLのテストケースを生成する。
これにより、既存のアプローチに基づいて異なる突然変異致死定義を比較し、得られた突然変異演算子とその潜在的な組み合わせであるHigher Order Mutation(HOM)の挙動を分析することができる。
本研究は, 突然変異致死定義の設計選択が, 生成したテストケースだけでなく, 変異が致死するか否かにも影響を及ぼすことを示す。
さらに,比較的少数のテストケースや演算子でも,興味深い特性を持つHOMを生成することができ,RLシステムのテスト機能を向上させることができることがわかった。
関連論文リスト
- muPRL: A Mutation Testing Pipeline for Deep Reinforcement Learning based on Real Faults [19.32186653723838]
まず,レポジトリマイニングによって得られた実RL断層の分類について述べる。
次に、そのような実断層から派生した突然変異演算子を示し、ツール muPRL に実装する。
実験結果から, muPRLは弱い試験発電機と強い判別に有効であることを示す。
論文 参考訳（メタデータ） (2024-08-27T15:45:13Z) - Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
LLM蒸留における多粒性セマンティックリビジョン法を提案する。
シーケンスレベルでは、シーケンス修正と再生戦略を提案する。
トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。
スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
論文 参考訳（メタデータ） (2024-07-14T03:51:49Z) - Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
大言語モデル(LLM)は、ジェネラリストアシスタントとして大きな可能性を示している。
これらのモデルは、非毒性や脱獄の試みに対するレジリエンスなど、望ましい行動特性を示すことが重要である。
本稿では,パラメータの小さなサブセットを直接編集することで,LLMの特定の振る舞いを効果的に調節できることを観察する。
論文 参考訳（メタデータ） (2024-07-11T17:52:03Z) - An Exploratory Study on Using Large Language Models for Mutation Testing [32.91472707292504]
LLM(Large Language Models)は、コードに関連するタスクにおいて大きな可能性を示しているが、突然変異テストにおけるそれらの有用性は未解明のままである。
本稿では, LLMのユーザビリティ, 障害検出可能性, および実際のバグとの関係について, 効果的な突然変異生成における性能について検討する。
既存のアプローチと比較して、LSMは実際のバグに近い振る舞いをする、より多様な突然変異を生成する。
論文 参考訳（メタデータ） (2024-06-14T08:49:41Z) - An Empirical Evaluation of Manually Created Equivalent Mutants [54.02049952279685]
手動で作成した突然変異体の10%未満は等価である。
驚くべきことに、我々の発見は、開発者の大部分が同等のミュータントを正確に識別するのに苦労していることを示している。
論文 参考訳（メタデータ） (2024-04-14T13:04:10Z) - Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。
このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。
本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
論文 参考訳（メタデータ） (2024-02-07T21:58:40Z) - Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。
Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。
我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
論文 参考訳（メタデータ） (2024-01-16T16:28:32Z) - Supervised Pretraining Can Learn In-Context Reinforcement Learning [96.62869749926415]
本稿では,意思決定問題における変換器の文脈内学習能力について検討する。
本稿では,変換器が最適動作を予測する教師付き事前学習法であるDPT(Decision-Pretrained Transformer)を導入,研究する。
事前学習した変換器は、オンラインと保守主義の両方をオフラインで探索することで、コンテキスト内における様々なRL問題の解決に利用できる。
論文 参考訳（メタデータ） (2023-06-26T17:58:50Z) - A Probabilistic Framework for Mutation Testing in Deep Neural Networks [12.033944769247958]
不整合を緩和する確率変異テスト(PMT)手法を提案する。
PMTは、評価を通じてより一貫性のある、より情報のある突然変異の決定を可能にする。
論文 参考訳（メタデータ） (2022-08-11T19:45:14Z) - DeepMetis: Augmenting a Deep Learning Test Set to Increase its Mutation
Score [4.444652484439581]
ツールは与えられたテストセットを増強し、ミュータントを平均で63%検出する能力を高めるのに効果的である。
アウトアウト実験では、強化されたテストセットが目に見えないミュータントを露出できることを示している。
論文 参考訳（メタデータ） (2021-09-15T18:20:50Z) - DeepMutation: A Neural Mutation Tool [26.482720255691646]
DeepMutationは、ディープラーニングモデルを完全に自動化されたツールチェーンにラップするツールです。
実際の断層から学んだ変異体を生成し、注入し、テストすることができる。
論文 参考訳（メタデータ） (2020-02-12T01:57:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。