論文の概要: Fault Localization for Framework Conversions of Image Recognition Models
- arxiv url: http://arxiv.org/abs/2306.06157v1
- Date: Sat, 10 Jun 2023 23:50:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 20:52:09.074087
- Title: Fault Localization for Framework Conversions of Image Recognition Models
- Title（参考訳）: 画像認識モデルのフレームワーク変換のためのフォールトローカライズ
- Authors: Nikolaos Louloudakis, Perry Gibson, Jos\'e Cano, and Ajitha Rajan
- Abstract要約: 本稿では,バグの多いディープラーニングフレームワーク変換のフォールトローカライズと修復に向けて,新しいアプローチを提案する。
提案手法は, 畳み込み層の重みをモデル化するために, 変換過程に使用するtf2onnxツールが精度誤差を導入したことを検出した。
次に、影響を受ける重みをソースモデルに置き換えることで、ターゲットモデルを修復した。
- 参考スコア（独自算出の注目度）: 0.7349727826230861
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: When deploying Deep Neural Networks (DNNs), developers often convert models
from one deep learning framework to another (e.g., TensorFlow to PyTorch).
However, this process is error-prone and can impact target model accuracy. To
identify the extent of such impact, we perform and briefly present a
differential analysis against three DNNs used for image recognition
(MobileNetV2, ResNet101, and InceptionV3), converted across four well-known
deep learning frameworks (PyTorch, Keras, TensorFlow (TF), and TFLite), which
revealed numerous model crashes and output label discrepancies of up to 100%.
To mitigate such errors, we present a novel approach towards fault localization
and repair of buggy deep learning framework conversions, focusing on
pre-trained image recognition models. Our technique consists of four primary
stages of analysis: 1) conversion tools, 2) model parameters, 3) model
hyperparameters, and 4) graph representation. In addition, we propose a number
of strategies towards fault repair of the faults detected. We implement our
technique on top of Apache TVM deep learning compiler, and we test it by
conducting a preliminary fault localization analysis for the conversion of
InceptionV3, from TF to TFLite. Our approach detected that the tf2onnx tool
used in the conversion process introduced precision errors to model weights for
convolutional layers in particular, which negatively affected the model
accuracy. We then repaired the target model by replacing the affected weights
with those from source model.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)をデプロイする場合、開発者はモデルをディープラーニングフレームワークから別のもの(tensorflowからpytorchなど)に変換することが多い。
しかし、このプロセスはエラーを起こしやすく、ターゲットモデルの精度に影響を及ぼす可能性がある。
このような影響の程度を特定するため、画像認識に使用される3つのDNN(MobileNetV2、ResNet101、InceptionV3)に対して、よく知られたディープラーニングフレームワーク(PyTorch、Keras、TensorFlow(TF)、TFLite)に変換された差分解析を行い、最大100%のモデルクラッシュと出力ラベルの相違を明らかにした。
このような誤りを軽減するため,本研究では,事前学習された画像認識モデルに着目した,バギー深層学習フレームワーク変換のフォールトローカライズと修復への新しいアプローチを提案する。
我々の手法は4つの主要な分析段階からなる。
1)変換ツール、
2)モデルパラメータ。
3)モデルハイパーパラメータ、及び
4)グラフ表現。
さらに,検出した断層の故障修復に向けたいくつかの戦略を提案する。
我々は,この手法をapache tvm深層学習コンパイラ上に実装し,inceptionv3のtfからtfliteへの変換のための予備的フォールトローカライズ分析を行い,その検証を行った。
提案手法では,変換過程においてtf2onnxツールが特に畳み込み層の重み付けをモデル化するために精度誤差を導入し,モデル精度に悪影響を及ぼした。
次に、影響を受ける重みをソースモデルに置き換えることで、ターゲットモデルを修復した。
関連論文リスト
- Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。
また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。
我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文 参考訳（メタデータ） (2024-11-05T12:26:25Z) - Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions between Frameworks [2.379078565066793]
本稿では,ディープラーニングフレームワーク間のモデル変換において,フォールトローカライズと修正のための自動アプローチであるFix-Conを提案する。
Fix-Conは、変換中にモデル入力、パラメータ、ハイパーパラメータ、モデルグラフに導入された障害を検出し、修正することができる。
本研究では,4つのディープラーニングフレームワーク間で変換された3つの画像認識モデルのモデル変換バグの修正におけるFix-Conの有効性を評価する。
論文 参考訳（メタデータ） (2023-12-22T22:46:48Z) - FNOSeg3D: Resolution-Robust 3D Image Segmentation with Fourier Neural
Operator [4.48473804240016]
フーリエニューラル演算子(FNO)に基づく画像解像度のトレーニングに頑健な3次元セグメンテーションモデルFNOSeg3Dを導入する。
BraTS'19データセットでテストすると、モデルパラメータの1%未満の他のテストモデルよりも、画像解像度のトレーニングに優れた堅牢性を達成した。
論文 参考訳（メタデータ） (2023-10-05T19:58:36Z) - Global Context Aggregation Network for Lightweight Saliency Detection of
Surface Defects [70.48554424894728]
我々は,エンコーダ・デコーダ構造上の表面欠陥を簡易に検出するためのGCANet(Global Context Aggregation Network)を開発した。
まず、軽量バックボーンの上部層に新しいトランスフォーマーエンコーダを導入し、DSA(Depth-wise Self-Attention)モジュールを通じてグローバルなコンテキスト情報をキャプチャする。
3つの公開欠陥データセットの実験結果から,提案したネットワークは,他の17の最先端手法と比較して,精度と実行効率のトレードオフを良好に達成できることが示された。
論文 参考訳（メタデータ） (2023-09-22T06:19:11Z) - UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。
本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T16:26:25Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳（メタデータ） (2023-03-13T17:12:03Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳（メタデータ） (2021-09-27T23:46:59Z) - Calibrating Deep Neural Networks using Focal Loss [77.92765139898906]
ミススキャリブレーション(Miscalibration)は、モデルの信頼性と正しさのミスマッチである。
焦点損失は、既に十分に校正されたモデルを学ぶことができることを示す。
ほぼすべてのケースにおいて精度を損なうことなく,最先端のキャリブレーションを達成できることを示す。
論文 参考訳（メタデータ） (2020-02-21T17:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。