論文の概要: Detecting and Understanding Real-World Differential Performance Bugs in Machine Learning Libraries

• arxiv url: http://arxiv.org/abs/2006.01991v1
• Date: Wed, 3 Jun 2020 00:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 18:49:48.443052
• Title: Detecting and Understanding Real-World Differential Performance Bugs in Machine Learning Libraries
• Title（参考訳）: 機械学習ライブラリにおける実世界の差分パフォーマンスバグの検出と理解
• Authors: Saeid Tizpaz-Niari and Pavol Cern\'y and Ashutosh Trivedi
• Abstract要約: 同じサイズであるにもかかわらず、パフォーマンスが広く変化するインプットを見つけます。 我々は,単一入力だけでなく,各クラスがそれぞれのサイズによってパラメータ化される類似入力を持つ入力のクラスの性能を比較する。 重要なことに、パフォーマンスバグの修正に簡単に使用できる形式で、なぜパフォーマンスが異なるのか、という説明も提供します。
• 参考スコア（独自算出の注目度）: 2.879036956042183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Programming errors that degrade the performance of systems are widespread, yet there is little tool support for analyzing these bugs. We present a method based on differential performance analysis---we find inputs for which the performance varies widely, despite having the same size. To ensure that the differences in the performance are robust (i.e. hold also for large inputs), we compare the performance of not only single inputs, but of classes of inputs, where each class has similar inputs parameterized by their size. Thus, each class is represented by a performance function from the input size to performance. Importantly, we also provide an explanation for why the performance differs in a form that can be readily used to fix a performance bug. The two main phases in our method are discovery with fuzzing and explanation with decision tree classifiers, each of which is supported by clustering. First, we propose an evolutionary fuzzing algorithm to generate inputs. For this fuzzing task, the unique challenge is that we not only need the input class with the worst performance, but rather a set of classes exhibiting differential performance. We use clustering to merge similar input classes which significantly improves the efficiency of our fuzzer. Second, we explain the differential performance in terms of program inputs and internals. We adapt discriminant learning approaches with clustering and decision trees to localize suspicious code regions. We applied our techniques to a set of applications. On a set of micro-benchmarks, we show that our approach outperforms state-of-the-art fuzzers in finding inputs to characterize the differential performance. On a set of case-studies, we discover and explain multiple performance bugs in popular machine learning frameworks. Four of these bugs, reported first in this paper, have since been fixed by the developers.
• Abstract（参考訳）: システムの性能を低下させるエラーのプログラミングは広く行われているが、これらのバグを分析するツールがほとんどない。 そこで本研究では,差分性能解析に基づく手法を提案する。 性能の違いが頑健であることを保証するため(すなわち、大きな入力に対しても保持する)、各クラスがそれぞれのサイズでパラメータ化された類似の入力を持つ入力クラスのパフォーマンスを比較する。 これにより、各クラスは、入力サイズからパフォーマンスまでのパフォーマンス関数で表される。 重要なことに、パフォーマンスバグの修正に簡単に使用できる形式で、なぜパフォーマンスが異なるのか、という説明も提供します。 本手法の主な2つのフェーズはファジィによる発見と決定木分類器による説明であり,それぞれがクラスタリングによってサポートされている。 まず,入力を生成する進化的ファジングアルゴリズムを提案する。 この面倒なタスクにとって、ユニークな課題は、最悪のパフォーマンスを持つ入力クラスが必要なだけでなく、異なるパフォーマンスを示すクラスセットが必要であることです。 我々はクラスタリングを用いて類似の入力クラスをマージし、ファザの効率を大幅に向上させる。 第二に、プログラム入力と内部の差分性能について説明する。 我々は、疑わしいコード領域をローカライズするために、クラスタリングと決定木を用いて識別学習アプローチを適用する。 私たちはそのテクニックを一連のアプリケーションに適用した。 マイクロベンチマークのセットでは,我々のアプローチが,差分性能を特徴付ける入力を見つける際に最先端のファザーよりも優れていることを示す。 ケーススタディのセットでは、人気のある機械学習フレームワークで複数のパフォーマンスバグを発見し、説明します。 この論文で最初に報告された4つのバグは、その後開発者によって修正された。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Multiclass Learning from Noisy Labels for Non-decomposable Performance Measures [15.358504449550013]
  非分解性性能尺度の2つのクラスに対して雑音ラベルから学習するアルゴリズムを設計する。 どちらの場合も、広範に研究されているクラス条件雑音モデルの下で、アルゴリズムのノイズ補正バージョンを開発する。 実験では,ラベルノイズ処理におけるアルゴリズムの有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-01T23:03:53Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Unified Functional Hashing in Automatic Machine Learning [58.77232199682271]
  高速に統一された関数型ハッシュを用いることで,大きな効率向上が得られることを示す。 私たちのハッシュは"機能的"であり、表現やコードが異なる場合でも同等の候補を識別します。 ニューラルアーキテクチャ検索やアルゴリズム発見など、複数のAutoMLドメインで劇的な改善がなされている。
  論文  参考訳（メタデータ） (2023-02-10T18:50:37Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Counterfactual Explanations for Oblique Decision Trees: Exact, Efficient Algorithms [0.0]
  我々は、ソース入力インスタンスにおける特徴を最小に調整して、与えられた分類の下で対象クラスに分類する問題である、反事実的説明を考える。 これは、トレーニングされたモデルをクエリし、決定を覆す可能性のあるアクションを提案する手段として、最近の関心事となっている。
  論文  参考訳（メタデータ） (2021-03-01T16:04:33Z)
• Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem Formulation [53.850686395708905]
  イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。 本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。 我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
  論文  参考訳（メタデータ） (2020-09-23T10:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。