論文の概要: OODTE: A Differential Testing Engine for the ONNX Optimizer

• arxiv url: http://arxiv.org/abs/2505.01892v2
• Date: Sun, 01 Jun 2025 18:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:43.33753
• Title: OODTE: A Differential Testing Engine for the ONNX Optimizer
• Title（参考訳）: OODTE: ONNXオプティマイザのための差分テストエンジン
• Authors: Nikolaos Louloudakis, Ajitha Rajan,
• Abstract要約: ONNXは、ONNXモデルにグラフベースの最適化を適用するためのデフォルトツールである。 広く使われているにもかかわらず、最適化中にモデルの精度を維持する能力は十分に研究されていない。 OODTEは,ONNXの正しさを自動的かつ包括的に評価するユーティリティである。
• 参考スコア（独自算出の注目度）: 2.6754376830313817
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With over 700 stars on GitHub and being part of the official ONNX repository, the ONNX Optimizer is the default tool for applying graph-based optimizations to ONNX models. Despite its widespread use, its ability to maintain model accuracy during optimization has not been thoroughly investigated. In this work, we present OODTE, a utility designed to automatically and comprehensively evaluate the correctness of the ONNX Optimizer. OODTE adopts a straightforward yet powerful differential testing and evaluation methodology, which can be readily adapted for use with other compiler optimizers. Specifically, OODTE takes a collection of ONNX models, applies optimizations, and executes both the original and optimized versions across a user-defined input set, automatically capturing any issues encountered during optimization. When discrepancies in accuracy arise, OODTE iteratively isolates the responsible optimization pass by repeating the process at a finer granularity. We applied OODTE to 130 well-known models from the official ONNX Model Hub, spanning diverse tasks including classification, object detection, semantic segmentation, text summarization, question answering, and sentiment analysis. Our evaluation revealed that 9.2% of the model instances either caused the optimizer to crash or led to the generation of invalid models using default optimization strategies. Additionally, 30% of classification models and 16.6% of object detection and segmentation models exhibited differing outputs across original and optimized versions, whereas models focused on text-related tasks were generally robust to optimization. OODTE uncovered 15 issues-14 previously unknown-affecting 9 of 47 optimization passes and the optimizer overall. All issues were reported to the ONNX Optimizer team. OODTE offers a simple but effective framework for validating AI model optimizers, applicable beyond the ONNX ecosystem.
• Abstract（参考訳）: GitHubには700以上のスターがいて、公式のONNXリポジトリの一部であるため、ONNX Optimizerは、ONNXモデルにグラフベースの最適化を適用するデフォルトツールである。 広く使われているにもかかわらず、最適化中にモデルの精度を維持する能力は十分に研究されていない。 本稿では,ONNXオプティマイザの正しさを自動的かつ包括的に評価するユーティリティOODTEを提案する。 OODTEは単純だが強力な差分テストと評価手法を採用しており、他のコンパイラオプティマイザで簡単に使用することができる。 具体的には、OODTEはONNXモデルのコレクションを取得し、最適化を適用し、ユーザ定義の入力セットでオリジナルバージョンと最適化バージョンの両方を実行し、最適化中に遭遇した問題を自動的にキャプチャする。 精度の相違が発生すると、OODTEはプロセスがより細かい粒度で繰り返すことによって、責任ある最適化パスを反復的に分離する。 我々はOODTEをONNX Model Hubから有名な130のモデルに適用し、分類、オブジェクト検出、セマンティックセグメンテーション、テキスト要約、質問応答、感情分析など様々なタスクを網羅した。 評価の結果、モデルインスタンスの9.2%がオプティマイザをクラッシュさせたり、デフォルトの最適化戦略を使って無効なモデルを生成する結果となった。 さらに、分類モデルの30%と、オブジェクト検出とセグメンテーションモデルの16.6%は、オリジナルのバージョンと最適化されたバージョンで異なる出力を示した。 OODTEは、47の最適化パスのうち9つの未知の14のイシューと全体的なオプティマイザを発見した。 すべての問題はONNXオプティマイザーチームに報告された。 OODTEは、ONNXエコシステムを越えて適用可能な、AIモデルのオプティマイザを検証するための、シンプルだが効果的なフレームワークを提供する。

関連論文リスト

• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• ReNO: Enhancing One-step Text-to-Image Models through Reward-based Noise Optimization [59.72782742378666]
  本稿では,Reward-based Noise Optimization (ReNO) を提案する。 20-50秒の計算予算の中で、ReNOによって強化されたワンステップモデルは、現在のすべてのオープンソーステキスト・トゥ・イメージ・モデルの性能を一貫して上回った。
  論文  参考訳（メタデータ） (2024-06-06T17:56:40Z)
• Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus Sample Average Approximation: A Stochastic Dominance Perspective [15.832111591654293]
  モデルクラスが十分に特定され、十分なデータが存在する場合に、逆の振る舞いが現れることを示す。 また, 標準サンプル平均近似 (SAA) が, 後悔の点において, モデルクラスが適切に特定された場合に, 最悪の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-13T21:54:53Z)
• Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks [2.8961929092154697]
  ソースコードの深層学習モデルを用いて各種の性能を検証した。 Anaheadの選択は、モデルの品質に大きな影響を与えます。 ML4SEコミュニティは、コード関連のディープラーニングタスクのデフォルトとして、Adamを使うべきだ、と提案する。
  論文  参考訳（メタデータ） (2023-03-06T22:49:20Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• Daydream: Accurately Estimating the Efficacy of Optimizations for DNN Training [8.157520622932374]
  プロファイリングツールは、“最適化Xは私のモデルの性能にどのように影響するのか? プログラマがDNN最適化の有効性を効率的に探求するのに役立つ新しいプロファイリングツールであるDaydreamを提案する。 本研究では,Daydreamが主流のDNN最適化手法をモデル化し,性能改善をもたらす最適化の有効性を正確に予測できることを示す。
  論文  参考訳（メタデータ） (2020-06-05T09:08:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。