Fugu-MT 論文翻訳(概要): Optimizing Deep Neural Networks using Safety-Guided Self Compression

論文の概要: Optimizing Deep Neural Networks using Safety-Guided Self Compression

arxiv url: http://arxiv.org/abs/2505.00350v1
Date: Thu, 01 May 2025 06:50:30 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:55.252419
Title: Optimizing Deep Neural Networks using Safety-Guided Self Compression
Title（参考訳）: 安全誘導自己圧縮を用いたディープニューラルネットワークの最適化
Authors: Mohammad Zbeeb, Mariam Salman, Mohammad Bazzi, Ammar Mohanna,
Abstract要約: 本研究では,ニューラルネットワークの重み付けと定量化を行う新しい安全性駆動量子化フレームワークを提案する。提案手法は、畳み込みニューラルネットワーク(CNN)とアテンションベース言語モデルの両方で厳格に評価される。実験結果から,本フレームワークは,従来の未定量モデルと比較して,テスト精度を最大2.5%向上することがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The deployment of deep neural networks on resource-constrained devices necessitates effective model com- pression strategies that judiciously balance the reduction of model size with the preservation of performance. This study introduces a novel safety-driven quantization framework that leverages preservation sets to systematically prune and quantize neural network weights, thereby optimizing model complexity without compromising accuracy. The proposed methodology is rigorously evaluated on both a convolutional neural network (CNN) and an attention-based language model, demonstrating its applicability across diverse architectural paradigms. Experimental results reveal that our framework achieves up to a 2.5% enhancement in test accuracy relative to the original unquantized models while maintaining 60% of the initial model size. In comparison to conventional quantization techniques, our approach not only augments generalization by eliminating parameter noise and retaining essential weights but also reduces variance, thereby ensuring the retention of critical model features. These findings underscore the efficacy of safety-driven quantization as a robust and reliable strategy for the efficient optimization of deep learn- ing models. The implementation and comprehensive experimental evaluations of our framework are publicly accessible at GitHub.
Abstract（参考訳）: リソース制約のあるデバイスにディープニューラルネットワークを配置するには、モデルサイズの削減とパフォーマンスの保存を両立させる効果的なモデル圧縮戦略が必要である。本研究は,ニューラルネットワークの重み付けを体系的に実行し,定量化するために,保存セットを活用する新しい安全性駆動量子化フレームワークを提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とアテンションベース言語モデルの両方で厳格に評価され,多様なアーキテクチャパラダイムにまたがる適用性を示す。実験結果から,本フレームワークは初期モデルの60%を維持しながら,元の未定量モデルと比較してテスト精度を最大2.5%向上することがわかった。従来の量子化手法と比較して,本手法はパラメータノイズを排除し,本質的な重みを保ち,分散を低減し,重要なモデル特徴の維持を確実にする。これらの結果は、ディープラーニングモデルの効率的な最適化のための堅牢で信頼性の高い戦略として、安全駆動量子化の有効性を裏付けるものである。私たちのフレームワークの実装と包括的な実験的評価はGitHubで公開されています。

関連論文リスト

Stochastic Engrams for Efficient Continual Learning with Binarized Neural Networks [4.014396794141682]
我々は,メタプラスティック二項化ニューラルネットワーク(mBNN)のゲーティング機構として,可塑性活性化エングラムを統合した新しいアプローチを提案する。以上の結果から, (A) トレードオフに対する安定性の向上, (B) メモリ集中度低下, (C) 双項化アーキテクチャの性能向上が示された。
論文参考訳（メタデータ） (2025-03-27T12:21:00Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。これにより、ディープニューラルネットワークの効率が著しく向上する。
論文参考訳（メタデータ） (2023-08-12T00:16:51Z)
ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-02-11T21:07:30Z)
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness [4.794745827538956]
逆向きに学習したニューラルネットワークは、通常のモデルよりも量子化損失に対して脆弱であることがわかった。ニューラルネットワークの最適量子化パラメータ設定を選択するために,Lipschitz定数を用いた層ワイド逆アウェア量子化法を提案する。実験結果から,本手法は,量子化逆学習ニューラルネットワークのロバスト性を効果的かつ効果的に向上できることが示された。
論文参考訳（メタデータ） (2021-10-23T22:11:30Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic [7.503338065129185]
本稿では,エントロピーに基づく畳み込み層推定(EBCLE)を提案する。 EBCLEを用いて訓練したより広いが浅いモデルの相対的有効性を強調する実証的証拠を提示する。
論文参考訳（メタデータ） (2021-06-27T10:34:39Z)
Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文参考訳（メタデータ） (2021-05-10T08:02:27Z)
A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文参考訳（メタデータ） (2020-12-25T20:50:15Z)
SQWA: Stochastic Quantized Weight Averaging for Improving the Generalization Capability of Low-Precision Deep Neural Networks [29.187848543158992]
我々は、新しい量子化ニューラルネットワーク最適化手法、量子化ウェイト平均化(SQWA)を提案する。提案手法には、浮動小数点モデルのトレーニング、重みの直接量子化、複数の低精度モデルのキャプチャ、キャプチャーモデルの平均化、低学習率の微調整が含まれる。 SQWAトレーニングにより、CIFAR-100およびImageNetデータセット上の2ビットQDNNの最先端結果を得た。
論文参考訳（メタデータ） (2020-02-02T07:02:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。