論文の概要: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem

• arxiv url: http://arxiv.org/abs/2303.17708v2
• Date: Wed, 4 Oct 2023 03:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 22:21:51.265404
• Title: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem
• Title（参考訳）: 深層学習モデル変換器の故障とリスクの分析:ONNXエコシステムを事例として
• Authors: Purvish Jajal, Wenxin Jiang, Arav Tewari, Joseph Woo, George K. Thiruvathukal, James C. Davis
• Abstract要約: 深層学習(DL)モデルコンバータの最初の故障解析を行う。 ONNX(Open Neural Network eXchange)に関連するモデルコンバータの故障を特徴付ける。 torch.onnx, tf2onnx, ONNXRuntimeに11の欠陥(5新しい)がある。
• 参考スコア（独自算出の注目度）: 3.34420198124708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many software engineers develop, fine-tune, and deploy deep learning (DL) models. They use DL models in a variety of development frameworks and deploy to a range of runtime environments. In this diverse ecosystem, engineers use DL model converters to move models from frameworks to runtime environments. Conversion errors compromise model quality and disrupt deployment. However, failure modes and patterns of DL model converters are unknown. This knowledge gap adds engineering risk in DL interoperability technologies. In this paper, we conduct the first failure analysis on DL model converters. Specifically, we characterize failures in model converters associated with ONNX (Open Neural Network eXchange). We analyze failures in the ONNX converters for two major DL frameworks, PyTorch and TensorFlow. The symptoms, causes, and locations of failures are reported for N=200 issues. We also evaluate why models fail by converting 5,149 models, both real-world and synthetically generated instances. Through the course of our testing, we find 11 defects (5 new) across torch.onnx, tf2onnx, and the ONNXRuntime. We evaluated two hypotheses about the relationship between model operators and converter failures, falsifying one and with equivocal results on the other. We describe and note weaknesses in the current testing strategies for model converters. Our results motivate future research on making DL software simpler to maintain, extend, and validate.
• Abstract（参考訳）: 多くのソフトウェアエンジニアがディープラーニング(DL)モデルを開発、微調整、デプロイしています。 彼らは様々な開発フレームワークでDLモデルを使用し、様々なランタイム環境にデプロイします。 この多様なエコシステムにおいて、エンジニアはdlモデルコンバータを使用してモデルをフレームワークからランタイム環境に移行する。 変換エラーはモデル品質を損ね、デプロイを混乱させる。 しかし,DLモデルコンバータの故障モードやパターンは不明である。 この知識のギャップは、dl相互運用性技術にエンジニアリングリスクをもたらします。 本稿では,dlモデル変換器における最初の故障解析を行う。 具体的には、ONNX(Open Neural Network eXchange)に関連するモデルコンバータの故障を特徴付ける。 我々は、主要な2つのDLフレームワークであるPyTorchとTensorFlowのONNXコンバータの障害を分析する。 n=200問題では、症状、原因、障害の場所が報告される。 また,実環境および合成生成インスタンスの5,149モデルを変換することで,モデルがフェールする理由を評価する。 テストを通じて、 torch.onnx、tf2onnx、NNXRuntimeにまたがる11の欠陥(5つの新しい)を見つけました。 モデル演算子とコンバータ故障の関係に関する2つの仮説を評価し,一方と他方の等価な結果について検討した。 モデルコンバータの現在のテスト戦略の弱点について記述し、注意する。 我々の成果は、DLソフトウェアをメンテナンス、拡張、検証しやすくするための将来の研究を動機付けている。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• MGit: A Model Versioning and Management System [7.2678752235785735]
  MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。 MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
  論文  参考訳（メタデータ） (2023-07-14T17:56:48Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• An Empirical Study of Challenges in Converting Deep Learning Models [15.521925194920893]
  我々は、訓練されたディープラーニングモデルを変換するために、ONNXとCoreMLを評価するための最初の実証的研究を行う。 この結果から,変換モデルの予測精度は原文と同程度であることが判明した。 変換モデルは一般的に、原文の同じレベルで堅牢であると評価される。
  論文  参考訳（メタデータ） (2022-06-28T23:18:37Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Integrated Training for Sequence-to-Sequence Models Using Non-Autoregressive Transformer [49.897891031932545]
  本稿では,非自己回帰変換器をベースとしたケースドモデルを提案する。 我々は、ピボットベースの2つの機械翻訳タスク、すなわち、フランス語-ドイツ語とドイツ語-チェコ語について評価を行う。
  論文  参考訳（メタデータ） (2021-09-27T11:04:09Z)
• DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
  変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。 複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
  論文  参考訳（メタデータ） (2021-02-11T11:22:20Z)
• An Empirical Analysis of Backward Compatibility in Machine Learning Systems [47.04803977692586]
  MLモデルの改善を目的としたアップデートでは,下流システムやユーザに大きな影響を及ぼす可能性のある,新たなエラーが発生する可能性がある。 例えば、画像認識などのクラウドベースの分類サービスで使用されるモデルの更新は、予期しない誤った振る舞いを引き起こす可能性がある。
  論文  参考訳（メタデータ） (2020-08-11T08:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。