Fugu-MT 論文翻訳(概要): Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions between Frameworks

論文の概要: Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions between Frameworks

arxiv url: http://arxiv.org/abs/2312.15101v3
Date: Mon, 25 Mar 2024 22:13:44 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 22:13:20.036087
Title: Fix-Con: Automatic Fault Localization and Repair of Deep Learning Model Conversions between Frameworks
Title（参考訳）: Fix-Con: 自動フォールトローカライゼーションとフレームワーク間のディープラーニングモデル変換の修復
Authors: Nikolaos Louloudakis, Perry Gibson, José Cano, Ajitha Rajan,
Abstract要約: 本稿では,ディープラーニングフレームワーク間のモデル変換において,フォールトローカライズと修正のための自動アプローチであるFix-Conを提案する。 Fix-Conは、変換中にモデル入力、パラメータ、ハイパーパラメータ、モデルグラフに導入された障害を検出し、修正することができる。本研究では,4つのディープラーニングフレームワーク間で変換された3つの画像認識モデルのモデル変換バグの修正におけるFix-Conの有効性を評価する。
参考スコア（独自算出の注目度）: 2.379078565066793
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Converting deep learning models between frameworks is a common step to maximize model compatibility across devices and leverage optimization features that may be exclusively provided in one deep learning framework. However, this conversion process may be riddled with bugs, making the converted models either undeployable or problematic, considerably degrading their prediction correctness. In this paper we propose an automated approach for fault localization and repair, Fix-Con, during model conversion between deep learning frameworks. Fix-Con is capable of detecting and fixing faults introduced in model input, parameters, hyperparameters, and the model graph during conversion. Fix-Con uses a set of fault types (mined from surveying conversion issues reported \nick{in code repositories and forums}) to localize potential conversion faults in the converted target model and then repair them appropriately, e.g., replacing the parameters of the target model with those from the source model. This is done iteratively for every image in the dataset, comparing output label differences between the source model and the converted target model until all differences are resolved. We evaluate the effectiveness of Fix-Con in fixing model conversion bugs of three widely used image recognition models converted across four different deep learning frameworks. Overall, Fix-Con was able to fix $462$ out of $755$ detected conversion faults, either completely repairing or significantly improving the performance of $14$ out of the $15$ erroneous conversion cases.
Abstract（参考訳）: ディープラーニングモデルをフレームワーク間で変換することは、デバイス間のモデル互換性を最大化し、ひとつのディープラーニングフレームワークでのみ提供される最適化機能を活用するための一般的なステップである。しかし、この変換プロセスはバグによって取り除かれ、変換されたモデルはデプロイ不能または問題なく、予測の正確性を著しく低下させる。本稿では,ディープラーニングフレームワーク間のモデル変換において,障害局所化と修正のための自動アプローチであるFix-Conを提案する。 Fix-Conは、変換中にモデル入力、パラメータ、ハイパーパラメータ、モデルグラフに導入された障害を検出し、修正することができる。 Fix-Conでは、変換対象モデルの潜在的な変換障害をローカライズするために、一連の障害タイプ(‘nick{in code repository and forums}’と報告されている変換問題から抽出した)を使用して、ターゲットモデルのパラメータをソースモデルに置き換えるなど、適切な修正を行う。これはデータセット内のすべての画像に対して反復的に行われ、ソースモデルと変換対象モデルとの出力ラベルの差を、すべての差が解決されるまで比較する。本研究では,4つのディープラーニングフレームワーク間で変換された3つの画像認識モデルのモデル変換バグの修正におけるFix-Conの有効性を評価する。全体としてFix-Conは、検出された変換障害755ドルのうち462ドルを修正できた。

関連論文リスト

TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters [102.1116808722299]
TokenFormerは、Transformerをスケールするためのスケーラブルなアーキテクチャです。モデルパラメータをトークンとして扱うことで、トランスフォーマーのすべての線形射影を置き換える。我々のモデルは、新しいキー値パラメータペアを漸進的に追加することで、124Mから1.4Bパラメータにスケールする。
論文参考訳（メタデータ） (2024-10-30T16:19:00Z)
Joint Fine-tuning and Conversion of Pretrained Speech and Language Models towards Linear Complexity [11.302828987873497]
本稿では,変換器モデルを線形時間置換器に変換し,目標タスクに微調整するクロスアーキテクチャ層蒸留(CALD)手法を提案する。そこで本研究では,CALDが元のモデルの結果を効果的に回収できることを示す。
論文参考訳（メタデータ） (2024-10-09T13:06:43Z)
Model Merging by Uncertainty-Based Gradient Matching [70.54580972266096]
ミスマッチを減らすことで性能を改善するための不確実性に基づく新しいスキームを提案する。我々の新しい手法は、大きな言語モデルと視覚変換器に一貫した改善をもたらす。
論文参考訳（メタデータ） (2023-10-19T15:02:45Z)
Fault Localization for Buggy Deep Learning Framework Conversions in Image Recognition [2.379078565066793]
本稿では,バグの多いディープラーニングフレームワーク変換のフォールトローカライズと修復に向けて,新しいアプローチを提案する。我々は,Apache TVMディープラーニングコンパイラ上で,InceptionV3のTFからTFLiteへの変換のための予備的なフォールトローカライズ解析を行うことにより,本手法を実装した。
論文参考訳（メタデータ） (2023-06-10T23:50:02Z)
Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem [3.0307714495180895]
本稿では,ディープラーニング(DL)モデルコンバータの故障を解析する。私たちは、DL相互運用性ツール、ユースケース、問題点についてソフトウェアエンジニアを調査します。モデル変換器のノード変換段階が欠陥の75%を占め、報告された障害の33%が意味的に誤りのあるモデルと関連していることがわかった。
論文参考訳（メタデータ） (2023-03-30T21:00:38Z)
Revision Transformers: Instructing Language Models to Change their Values [21.645935518842744]
現在のトランスフォーマー言語モデル(LM)は数十億のパラメータを持つ大規模モデルである。モデル更新を容易にするリビジョントランス (RiT) を提案する。明確に構造化されたリビジョンエンジンで世界知識を拡散的に符号化する大規模な事前学習型LMの特定の組み合わせにより、モデルの知識をほとんど努力せずに更新し、ユーザーインタラクションの助けを借りることができる。
論文参考訳（メタデータ） (2022-10-19T07:05:06Z)
Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-06-16T16:46:32Z)
FixEval: Execution-based Evaluation of Program Fixes for Programming Problems [23.987104440395576]
FixEvalは、競合するプログラミング問題とそれに対応する修正に対して、バグの多いコードを提出するベンチマークです。 FixEvalは、モデル生成プログラム修正の正確性を評価するために、ユニットテストの広範なコレクションを提供する。実験の結果,マッチングに基づくメトリクスは,モデル生成プログラムの修正を正確に反映しないことがわかった。
論文参考訳（メタデータ） (2022-06-15T20:18:43Z)
Slimmable Domain Adaptation [112.19652651687402]
重み付けモデルバンクを用いて、ドメイン間の一般化を改善するためのシンプルなフレームワーク、Slimmable Domain Adaptationを導入する。私たちのフレームワークは、他の競合するアプローチを、複数のベンチマークにおいて非常に大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-06-14T06:28:04Z)
Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文参考訳（メタデータ） (2022-06-13T23:40:34Z)
Forward Compatible Training for Representation Learning [53.300192863727226]
後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
論文参考訳（メタデータ） (2021-12-06T06:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。