論文の概要: OODTE: A Differential Testing Engine for the ONNX Optimizer

• arxiv url: http://arxiv.org/abs/2505.01892v1
• Date: Sat, 03 May 2025 18:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.321509
• Title: OODTE: A Differential Testing Engine for the ONNX Optimizer
• Title（参考訳）: OODTE: ONNXオプティマイザのための差分テストエンジン
• Authors: Nikolaos Louloudakis, Ajitha Rajan,
• Abstract要約: OODTEは単純で効果的な差分テストと評価のアプローチに従う。 我々は15の問題を検知した。そのうち14は以前にも知られていなかったもので、クラッシュと精度の偏差に関連していた。
• 参考スコア（独自算出の注目度）: 2.6754376830313817
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With $700$ stars on GitHub and part of the official ONNX repository, the ONNX Optimizer consists of the standard method to apply graph-based optimizations on ONNX models. However, its ability to preserve model accuracy across optimizations, has not been rigorously explored. We propose OODTE, a utility to automatically and thoroughly assess the correctness of the ONNX Optimizer. OODTE follows a simple, yet effective differential testing and evaluation approach that can be easily adopted to other compiler optimizers. In particular, OODTE utilizes a number of ONNX models, then optimizes them and executes both the original and the optimized variants across a user-defined set of inputs, while automatically logging any issues with the optimization process. Finally, for successfully optimized models, OODTE compares the results, and, if any accuracy deviations are observed, it iteratively repeats the process for each pass of the ONNX Optimizer, to localize the root cause of the differences observed. Using OODTE, we sourced well-known $130$ models from the official ONNX Model Hub, used for a wide variety of tasks (classification, object detection, semantic segmentation, text summarization, question and answering, sentiment analysis) from the official ONNX model hub. We detected 15 issues, 14 of which were previously unknown, associated with optimizer crashes and accuracy deviations. We also observed $9.2$% of all model instances presenting issues leading into the crash of the optimizer, or the generation of an invalid model while using the primary optimizer strategies. In addition, $30$% of the classification models presented accuracy differences across the original and the optimized model variants, while $16.6$% of semantic segmentation and object detection models are also affected, at least to a limited extent.
• Abstract（参考訳）: GitHubに700ドルのスターと公式のONNXリポジトリの一部として、ONNX Optimizerは、ONNXモデルにグラフベースの最適化を適用するための標準メソッドで構成されている。 しかし、最適化全体にわたってモデルの精度を維持する能力は、厳密に研究されていない。 OODTEは,ONNXオプティマイザの正当性を自動的かつ徹底的に評価するユーティリティである。 OODTEは、他のコンパイラオプティマイザにも容易に適用可能な、シンプルで効果的な差分テストと評価のアプローチに従っている。 特にOODTEは、複数のONNXモデルを使用し、最適化し、ユーザ定義の入力セットにまたがってオリジナルと最適化された変種の両方を実行し、最適化プロセスで問題を自動的にログする。 最後に、OODTEは結果を比較し、精度のずれが観測された場合、ONNXオプティマイザの各パスのプロセスを反復的に繰り返し、観察された違いの根本原因をローカライズする。 OODTEを使用して、ONNXモデルハブからよく知られた13,000ドルのモデル(分類、オブジェクト検出、セマンティックセグメンテーション、テキスト要約、質問と回答、感情分析)を、ONNXモデルハブからソースしました。 我々は15の問題を検知した。そのうち14は以前にも知られていなかったもので、最適化器のクラッシュと精度の偏差に関連していた。 また、主要なオプティマイザ戦略を使用しながら、オプティマイザのクラッシュや無効なモデルの生成につながる問題を示すすべてのモデルインスタンスの9.2$%も観察した。 さらに、分類モデルの30ドル%はオリジナルのモデルと最適化されたモデルの精度の違いを示しており、セマンティックセグメンテーションとオブジェクト検出モデルの16.6ドル%も影響を受けている。

関連論文リスト

• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• ReNO: Enhancing One-step Text-to-Image Models through Reward-based Noise Optimization [59.72782742378666]
  本稿では,Reward-based Noise Optimization (ReNO) を提案する。 20-50秒の計算予算の中で、ReNOによって強化されたワンステップモデルは、現在のすべてのオープンソーステキスト・トゥ・イメージ・モデルの性能を一貫して上回った。
  論文  参考訳（メタデータ） (2024-06-06T17:56:40Z)
• Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
  モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。 また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-13T21:54:53Z)
• Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks [2.8961929092154697]
  ソースコードの深層学習モデルを用いて各種の性能を検証した。 Anaheadの選択は、モデルの品質に大きな影響を与えます。 ML4SEコミュニティは、コード関連のディープラーニングタスクのデフォルトとして、Adamを使うべきだ、と提案する。
  論文  参考訳（メタデータ） (2023-03-06T22:49:20Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• Daydream: Accurately Estimating the Efficacy of Optimizations for DNN Training [8.157520622932374]
  プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか? プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。 本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
  論文  参考訳（メタデータ） (2020-06-05T09:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。