論文の概要: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem

• arxiv url: http://arxiv.org/abs/2303.17708v1
• Date: Thu, 30 Mar 2023 21:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-03 15:57:09.680010
• Title: Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem
• Title（参考訳）: 深層学習モデル変換器の故障とリスクの分析:ONNXエコシステムを事例として
• Authors: Purvish Jajal, Wenxin Jiang, Arav Tewari, Joseph Woo, Yung-Hsiang Lu, George K. Thiruvathukal, James C. Davis
• Abstract要約: エンジニアは、ディープラーニング(DL)モデルを開発し、微調整し、デプロイする。 コンバータ内のエラーは、モデル品質を妥協し、デプロイメントを妨害する可能性がある。 DLモデル変換器の最初の故障解析を行う。
• 参考スコア（独自算出の注目度）: 2.2417271597343396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software engineers develop, fine-tune, and deploy deep learning (DL) models. They use and re-use models in a variety of development frameworks and deploy them on a range of runtime environments. In this diverse ecosystem, engineers use DL model converters to move models from frameworks to runtime environments. However, errors in converters can compromise model quality and disrupt deployment. The failure frequency and failure modes of DL model converters are unknown. In this paper, we conduct the first failure analysis on DL model converters. Specifically, we characterize failures in model converters associated with ONNX (Open Neural Network eXchange). We analyze past failures in the ONNX converters in two major DL frameworks, PyTorch and TensorFlow. The symptoms, causes, and locations of failures (for N=200 issues), and trends over time are also reported. We also evaluate present-day failures by converting 8,797 models, both real-world and synthetically generated instances. The consistent result from both parts of the study is that DL model converters commonly fail by producing models that exhibit incorrect behavior: 33% of past failures and 8% of converted models fell into this category. Our results motivate future research on making DL software simpler to maintain, extend, and validate.
• Abstract（参考訳）: ソフトウェアエンジニアは、ディープラーニング(DL)モデルを開発し、微調整し、デプロイする。 さまざまな開発フレームワークでモデルを使用、再利用し、さまざまなランタイム環境にデプロイする。 この多様なエコシステムにおいて、エンジニアはdlモデルコンバータを使用してモデルをフレームワークからランタイム環境に移行する。 しかし、コンバータのエラーはモデルの品質を損なう可能性がある。 dlモデル変換器の故障頻度と故障モードは不明である。 本稿では,dlモデル変換器における最初の故障解析を行う。 具体的には、ONNX(Open Neural Network eXchange)に関連するモデルコンバータの故障を特徴付ける。 我々は、PyTorchとTensorFlowという2つの主要なDLフレームワークにおいて、ONNXコンバータの過去の障害を分析する。 症状、原因、障害の場所(N=200問題)、時間経過の傾向も報告されている。 また,実世界インスタンスと合成インスタンスの両方で8,797モデルを変換して,現在の障害を評価する。 両研究から得られた一貫した結果は、DLモデルコンバータが不正確な動作を示すモデルを生成することで、一般的に失敗するということである。 我々の成果は、DLソフトウェアをメンテナンス、拡張、検証しやすくするための将来の研究を動機付けている。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• MGit: A Model Versioning and Management System [7.2678752235785735]
  MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。 MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
  論文  参考訳（メタデータ） (2023-07-14T17:56:48Z)
• An Empirical Study of Deep Learning Models for Vulnerability Detection [4.243592852049963]
  我々は、広く使われている2つの脆弱性検出データセット上で、最先端の9つのディープラーニングモデルを調査し、再現した。 モデル能力,トレーニングデータ,モデル解釈について検討した。 我々の研究結果は、モデル結果の理解を深め、トレーニングデータ作成のガイダンスを提供し、モデルの堅牢性を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2022-12-15T19:49:34Z)
• An Empirical Study of Challenges in Converting Deep Learning Models [15.521925194920893]
  我々は、訓練されたディープラーニングモデルを変換するために、ONNXとCoreMLを評価するための最初の実証的研究を行う。 この結果から,変換モデルの予測精度は原文と同程度であることが判明した。 変換モデルは一般的に、原文の同じレベルで堅牢であると評価される。
  論文  参考訳（メタデータ） (2022-06-28T23:18:37Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment [32.01355605506855]
  量子化対応トレーニングは、標準、逆数、ミックスアップトレーニングよりも安定したモデルを生成することができる。 診断は、しばしばトップ1とトップ2の出力確率に近づき、$Margin$は、相違点を区別する他の不確実性指標よりも優れた指標である。 我々は、量子化されたモデルをさらに研究するための新しいベンチマークとして、コードとモデルをオープンソース化した。
  論文  参考訳（メタデータ） (2022-04-08T11:19:16Z)
• Integrated Training for Sequence-to-Sequence Models Using Non-Autoregressive Transformer [49.897891031932545]
  本稿では,非自己回帰変換器をベースとしたケースドモデルを提案する。 我々は、ピボットベースの2つの機械翻訳タスク、すなわち、フランス語-ドイツ語とドイツ語-チェコ語について評価を行う。
  論文  参考訳（メタデータ） (2021-09-27T11:04:09Z)
• DirectDebug: Automated Testing and Debugging of Feature Models [55.41644538483948]
  変数モデル(例えば、特徴モデル)は、ソフトウェアアーティファクトの変数と共通性を表現する一般的な方法である。 複雑でしばしば大規模な機能モデルは欠陥になりうる、すなわち、ソフトウェアアーチファクトの期待される変動特性を表現しない。
  論文  参考訳（メタデータ） (2021-02-11T11:22:20Z)
• An Empirical Analysis of Backward Compatibility in Machine Learning Systems [47.04803977692586]
  MLモデルの改善を目的としたアップデートでは,下流システムやユーザに大きな影響を及ぼす可能性のある,新たなエラーが発生する可能性がある。 例えば、画像認識などのクラウドベースの分類サービスで使用されるモデルの更新は、予期しない誤った振る舞いを引き起こす可能性がある。
  論文  参考訳（メタデータ） (2020-08-11T08:10:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。