論文の概要: Fault Localization for Buggy Deep Learning Framework Conversions in
Image Recognition
- arxiv url: http://arxiv.org/abs/2306.06157v3
- Date: Wed, 30 Aug 2023 13:41:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-31 16:53:11.555352
- Title: Fault Localization for Buggy Deep Learning Framework Conversions in
Image Recognition
- Title（参考訳）: 画像認識におけるBuggy Deep Learning Framework変換のためのフォールトローカライゼーション
- Authors: Nikolaos Louloudakis, Perry Gibson, Jos\'e Cano, and Ajitha Rajan
- Abstract要約: 本稿では,バグの多いディープラーニングフレームワーク変換のフォールトローカライズと修復に向けて,新しいアプローチを提案する。
我々は,Apache TVMディープラーニングコンパイラ上に実装した。
- 参考スコア（独自算出の注目度）: 2.179085971155749
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: When deploying Deep Neural Networks (DNNs), developers often convert models
from one deep learning framework to another (e.g., TensorFlow to PyTorch).
However, this process is error-prone and can impact target model accuracy. To
identify the extent of such impact, we perform and briefly present a
differential analysis against three DNNs widely used for image recognition
(MobileNetV2, ResNet101, and InceptionV3) converted across four well-known deep
learning frameworks (PyTorch, Keras, TensorFlow (TF), and TFLite), which
revealed numerous model crashes and output label discrepancies of up to 72%. To
mitigate such errors, we present a novel approach towards fault localization
and repair of buggy deep learning framework conversions, focusing on
pre-trained image recognition models. Our technique consists of four stages of
analysis: 1) conversion tools, 2) model parameters, 3) model hyperparameters,
and 4) graph representation. In addition, we propose various strategies towards
fault repair of the faults detected. We implement our technique on top of the
Apache TVM deep learning compiler, and we test it by conducting a preliminary
fault localization analysis for the conversion of InceptionV3 from TF to
TFLite. Our approach detected a fault in a common DNN converter tool, which
introduced precision errors in weights, reducing model accuracy. After our
fault localization, we repaired the issue, reducing our conversion error to
zero.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)をデプロイする場合、開発者はモデルをディープラーニングフレームワークから別のもの(tensorflowからpytorchなど)に変換することが多い。
しかし、このプロセスはエラーを起こしやすく、ターゲットモデルの精度に影響を及ぼす可能性がある。
画像認識に広く用いられている3つのDNN(MobileNetV2,ResNet101,InceptionV3)に対して,その影響の程度を明らかにするために,よく知られた4つのディープラーニングフレームワーク(PyTorch,Keras,TensorFlow(TF),TFLite)に変換された差分解析を行い,最大72%のモデルクラッシュと出力ラベルの差異を明らかにした。
このような誤りを軽減するため,本研究では,事前学習された画像認識モデルに着目した,バギー深層学習フレームワーク変換のフォールトローカライズと修復への新しいアプローチを提案する。
我々の手法は4段階の分析から成り立っている。
1)変換ツール、
2)モデルパラメータ。
3)モデルハイパーパラメータ、及び
4)グラフ表現。
さらに,検出された障害の障害修復に関する様々な戦略を提案する。
我々は,Apache TVMディープラーニングコンパイラ上で,InceptionV3のTFからTFLiteへの変換のための予備的なフォールトローカライズ解析を行うことにより,本手法を実装した。
提案手法は,重みの精度誤差を導入し,モデルの精度を低下させる共通DNNコンバータツールの欠陥を検出する。
障害ローカライズ後、私たちは問題を修復し、コンバージョンエラーをゼロにしました。
関連論文リスト
- Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。
また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。
我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文 参考訳（メタデータ） (2024-11-05T12:26:25Z) - Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions between Frameworks [2.379078565066793]
本稿では,ディープラーニングフレームワーク間のモデル変換において,フォールトローカライズと修正のための自動アプローチであるFix-Conを提案する。
Fix-Conは、変換中にモデル入力、パラメータ、ハイパーパラメータ、モデルグラフに導入された障害を検出し、修正することができる。
本研究では,4つのディープラーニングフレームワーク間で変換された3つの画像認識モデルのモデル変換バグの修正におけるFix-Conの有効性を評価する。
論文 参考訳（メタデータ） (2023-12-22T22:46:48Z) - FNOSeg3D: Resolution-Robust 3D Image Segmentation with Fourier Neural
Operator [4.48473804240016]
フーリエニューラル演算子(FNO)に基づく画像解像度のトレーニングに頑健な3次元セグメンテーションモデルFNOSeg3Dを導入する。
BraTS'19データセットでテストすると、モデルパラメータの1%未満の他のテストモデルよりも、画像解像度のトレーニングに優れた堅牢性を達成した。
論文 参考訳（メタデータ） (2023-10-05T19:58:36Z) - Global Context Aggregation Network for Lightweight Saliency Detection of
Surface Defects [70.48554424894728]
我々は,エンコーダ・デコーダ構造上の表面欠陥を簡易に検出するためのGCANet(Global Context Aggregation Network)を開発した。
まず、軽量バックボーンの上部層に新しいトランスフォーマーエンコーダを導入し、DSA(Depth-wise Self-Attention)モジュールを通じてグローバルなコンテキスト情報をキャプチャする。
3つの公開欠陥データセットの実験結果から,提案したネットワークは,他の17の最先端手法と比較して,精度と実行効率のトレードオフを良好に達成できることが示された。
論文 参考訳（メタデータ） (2023-09-22T06:19:11Z) - UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。
本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T16:26:25Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳（メタデータ） (2023-03-13T17:12:03Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳（メタデータ） (2021-09-27T23:46:59Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳（メタデータ） (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。