論文の概要: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem
- arxiv url: http://arxiv.org/abs/2303.17708v3
- Date: Wed, 24 Apr 2024 15:28:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-27 00:27:30.849274
- Title: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem
- Title(参考訳): 深層学習モデル変換器の故障とリスクの分析:ONNXエコシステムを事例として
- Authors: Purvish Jajal, Wenxin Jiang, Arav Tewari, Erik Kocinare, Joseph Woo, Anusha Sarraf, Yung-Hsiang Lu, George K. Thiruvathukal, James C. Davis,
- Abstract要約: 本稿では,ディープラーニング(DL)モデルコンバータの故障を解析する。
私たちは、DL相互運用性ツール、ユースケース、問題点についてソフトウェアエンジニアを調査します。
モデル変換器のノード変換段階が欠陥の75%を占め、報告された障害の33%が意味的に誤りのあるモデルと関連していることがわかった。
- 参考スコア(独自算出の注目度): 3.0307714495180895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software engineers develop, fine-tune, and deploy deep learning (DL) models using a variety of development frameworks and runtime environments. DL model converters move models between frameworks and to runtime environments. Conversion errors compromise model quality and disrupt deployment. However, the failure characteristics of DL model converters are unknown, adding risk when using DL interoperability technologies. This paper analyzes failures in DL model converters. We survey software engineers about DL interoperability tools, use cases, and pain points (N=92). Then, we characterize failures in model converters associated with the main interoperability tool, ONNX (N=200 issues in PyTorch and TensorFlow). Finally, we formulate and test two hypotheses about structural causes for the failures we studied. We find that the node conversion stage of a model converter accounts for ~75% of the defects and 33% of reported failure are related to semantically incorrect models. The cause of semantically incorrect models is elusive, but models with behaviour inconsistencies share operator sequences. Our results motivate future research on making DL interoperability software simpler to maintain, extend, and validate. Research into behavioural tolerances and architectural coverage metrics could be fruitful.
- Abstract(参考訳): ソフトウェアエンジニアは、さまざまな開発フレームワークとランタイム環境を使用して、ディープラーニング(DL)モデルを開発、微調整、デプロイします。
DLモデルコンバータは、フレームワークとランタイム環境の間でモデルを移動します。
変換エラーによってモデルの品質が損なわれ、デプロイメントが破壊される。
しかし、DLモデルコンバータの故障特性は不明であり、DLインターオペラビリティ技術を使用する場合のリスクが増大する。
本稿では,DLモデルコンバータの故障解析を行う。
我々は,DL相互運用性ツール,ユースケース,痛点(N=92)について,ソフトウェアエンジニアを調査した。
次に、メインの相互運用性ツールであるONNX(PyTorchとTensorFlowのN=200問題)に関連するモデルコンバータの障害を特徴付ける。
最後に、我々が研究した失敗の構造的原因に関する2つの仮説を定式化し、検証した。
モデル変換器のノード変換段階が欠陥の75%を占め、報告された障害の33%が意味的に誤りのあるモデルと関連していることがわかった。
意味的に不正確なモデルの原因は解明されているが、振る舞いの不整合のあるモデルは演算子シーケンスを共有する。
我々の成果は、DLインターオペラビリティソフトウェアをメンテナンス、拡張、検証をより簡単にするための将来の研究を動機付けています。
行動寛容とアーキテクチャカバレッジメトリクスの研究は実りあるかもしれない。
関連論文リスト
- Green AI: A Preliminary Empirical Study on Energy Consumption in DL
Models Across Different Runtime Infrastructures [56.200335252600354]
トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。
これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
論文 参考訳(メタデータ) (2024-02-21T09:18:44Z) - Identifying and Mitigating Model Failures through Few-shot CLIP-aided
Diffusion Generation [65.268245109828]
本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。
これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。
本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
論文 参考訳(メタデータ) (2023-12-09T04:43:49Z) - MGit: A Model Versioning and Management System [7.2678752235785735]
MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。
MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
論文 参考訳(メタデータ) (2023-07-14T17:56:48Z) - Fault Localization for Buggy Deep Learning Framework Conversions in
Image Recognition [2.179085971155749]
本稿では,バグの多いディープラーニングフレームワーク変換のフォールトローカライズと修復に向けて,新しいアプローチを提案する。
我々は,Apache TVMディープラーニングコンパイラ上に実装した。
論文 参考訳(メタデータ) (2023-06-10T23:50:02Z) - Plug-and-Play Knowledge Injection for Pre-trained Language Models [116.37916535076478]
外部知識を注入することで、様々な下流NLPタスクにおける事前学習言語モデル(PLM)の性能を向上させることができる。
下流タスクのための新しい知識注入方法や知識ベースを展開するには、大規模な再訓練が必要である。
既存の下流モデルを用いて知識注入の柔軟性と効率を改善する方法について検討する。
論文 参考訳(メタデータ) (2023-05-28T10:58:00Z) - Speculative Decoding with Big Little Decoder [108.95187338417541]
Big Little Decoder (BiLD) は、幅広いテキスト生成アプリケーションの推論効率と遅延を改善するフレームワークである。
NVIDIA T4 GPUでは、当社のフレームワークは最大2.12倍の高速化を実現し、生成品質の最小化を実現している。
私たちのフレームワークは完全にプラグアンドプレイで、トレーニングプロセスやモデルアーキテクチャの変更なしに適用できます。
論文 参考訳(メタデータ) (2023-02-15T18:55:29Z) - An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。
モデル能力,トレーニングデータ,モデル解釈について検討した。
我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
論文 参考訳(メタデータ) (2022-12-15T19:49:34Z) - An Empirical Study of Challenges in Converting Deep Learning Models [15.521925194920893]
我々は、訓練されたディープラーニングモデルを変換するために、ONNXとCoreMLを評価するための最初の実証的研究を行う。
この結果から,変換モデルの予測精度は原文と同程度であることが判明した。
変換モデルは一般的に、原文の同じレベルで堅牢であると評価される。
論文 参考訳(メタデータ) (2022-06-28T23:18:37Z) - Characterizing and Understanding the Behavior of Quantized Models for
Reliable Deployment [32.01355605506855]
量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。
診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。
我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
論文 参考訳(メタデータ) (2022-04-08T11:19:16Z) - TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech
Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。
この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。
以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-04-04T02:34:55Z) - DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。
複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
論文 参考訳(メタデータ) (2021-02-11T11:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。