論文の概要: A Scenario-Based Functional Testing Approach to Improving DNN Performance

• arxiv url: http://arxiv.org/abs/2307.07083v1
• Date: Thu, 13 Jul 2023 22:35:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 15:20:00.311008
• Title: A Scenario-Based Functional Testing Approach to Improving DNN Performance
• Title（参考訳）: DNN性能向上のためのシナリオベース機能テストアプローチ
• Authors: Hong Zhu, Thi Minh Tam Tran, Aduen Benjumea and Andrew Bradley
• Abstract要約: 本稿では,自律走行車の認識システムである実MLディープニューラルネットワーク(DNN)モデルを用いたケーススタディを報告する。 モデルの性能を向上できるという意味で,本手法が有効であることを示す。
• 参考スコア（独自算出の注目度）: 4.330146094130901
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper proposes a scenario-based functional testing approach for enhancing the performance of machine learning (ML) applications. The proposed method is an iterative process that starts with testing the ML model on various scenarios to identify areas of weakness. It follows by a further testing on the suspected weak scenarios and statistically evaluate the model's performance on the scenarios to confirm the diagnosis. Once the diagnosis of weak scenarios is confirmed by test results, the treatment of the model is performed by retraining the model using a transfer learning technique with the original model as the base and applying a set of training data specifically targeting the treated scenarios plus a subset of training data selected at random from the original train dataset to prevent the so-call catastrophic forgetting effect. Finally, after the treatment, the model is assessed and evaluated again by testing on the treated scenarios as well as other scenarios to check if the treatment is effective and no side effect caused. The paper reports a case study with a real ML deep neural network (DNN) model, which is the perception system of an autonomous racing car. It is demonstrated that the method is effective in the sense that DNN model's performance can be improved. It provides an efficient method of enhancing ML model's performance with much less human and compute resource than retrain from scratch.
• Abstract（参考訳）: 本稿では,機械学習(ML)アプリケーションの性能向上のためのシナリオベース機能テスト手法を提案する。 提案手法は,さまざまなシナリオでmlモデルをテストして弱点領域を識別することから始まる反復的プロセスである。 続いて、疑わしいシナリオのさらなるテストを行い、診断を確認するためにシナリオのモデルの性能を統計的に評価する。 テスト結果により弱シナリオの診断が確認されると、元のモデルをベースとするトランスファー学習技術を用いてモデルの再トレーニングを行い、処理されたシナリオを対象とするトレーニングデータセットと、元の列車データセットからランダムに選択されたトレーニングデータのサブセットを適用して、いわゆる破滅的な忘れ防止を図る。 最後に、治療後、その治療が有効か、副作用が起こらないかを確認するための他のシナリオと同様に、治療シナリオのテストによってモデルを評価し、再度評価する。 本稿では,自律走行車の認識システムである実MLディープニューラルネットワーク(DNN)モデルを用いたケーススタディを報告する。 本手法は,dnnモデルの性能が向上できるという意味で有効であることを示す。 これは、スクラッチから再トレーニングするよりもずっと少ない人間と計算リソースでmlモデルのパフォーマンスを向上させる効率的な方法を提供する。

関連論文リスト

• Uncertainty Measurement of Deep Learning System based on the Convex Hull of Training Sets [0.13265175299265505]
  本研究では,訓練データの凸殻に基づくトレーニングモデルの不確実性を測定するTo-hull Uncertainity and Closure Ratioを提案する。 学習したデータの凸船体と見えないサンプルとの間の位置関係を観察し、サンプルが凸船体からどのように外挿されているかを推測することができる。
  論文  参考訳（メタデータ） (2024-05-25T06:25:24Z)
• Predicting Out-of-Distribution Error with Confidence Optimal Transport [17.564313038169434]
  そこで本研究では,未知の分布におけるモデルの性能を付加アノテーションなしで予測する簡易かつ効果的な手法を提案する。 提案手法である信頼度最適輸送(COT)は,対象領域におけるモデルの性能を頑健に推定する。 その単純さにもかかわらず,提案手法は3つのベンチマークデータセットに対して最先端の結果を達成し,既存の手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2023-02-10T02:27:13Z)
• Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST) [1.8047694351309207]
  我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。 線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。 シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
  論文  参考訳（メタデータ） (2022-11-29T19:39:47Z)
• TTAPS: Test-Time Adaption by Aligning Prototypes using Self-Supervision [70.05605071885914]
  本研究では,単体テストサンプルに適用可能な自己教師付きトレーニングアルゴリズムSwaVの新たな改良を提案する。 ベンチマークデータセットCIFAR10-Cにおいて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-05-18T05:43:06Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)
• Listen, Adapt, Better WER: Source-free Single-utterance Test-time Adaptation for Automatic Speech Recognition [65.84978547406753]
  Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。 単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
  論文  参考訳（メタデータ） (2022-03-27T06:38:39Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)
• PrIU: A Provenance-Based Approach for Incrementally Updating Regression Models [9.496524884855559]
  本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。 漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。 実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
  論文  参考訳（メタデータ） (2020-02-26T21:04:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。