Fugu-MT 論文翻訳(概要): Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware

論文の概要: Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware

arxiv url: http://arxiv.org/abs/2306.03076v1
Date: Mon, 5 Jun 2023 17:52:44 GMT
ステータス: 処理完了
システム内更新日: 2023-06-06 13:36:11.222844
Title: Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware
Title（参考訳）: 深層学習ハードウェアにおける精度回復のための感度・アウェア微調整
Authors: Lakshmi Nair and Darius Bunandar
Abstract要約: 本稿では,モデル内のノイズに敏感な層を識別し,その情報を用いて特定の層を凍結してノイズ注入訓練を行う感性認識ファインタニング手法を提案する。その結果,SAFTはノイズ注入訓練と同等の精度で,2倍から8倍高速であることがわかった。
参考スコア（独自算出の注目度）: 2.610470075814367
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing methods to recover model accuracy on analog-digital hardware in the presence of quantization and analog noise include noise-injection training. However, it can be slow in practice, incurring high computational costs, even when starting from pretrained models. We introduce the Sensitivity-Aware Finetuning (SAFT) approach that identifies noise sensitive layers in a model, and uses the information to freeze specific layers for noise-injection training. Our results show that SAFT achieves comparable accuracy to noise-injection training and is 2x to 8x faster.
Abstract（参考訳）: 量子化やアナログノイズの存在下でのアナログデジタルハードウェア上でのモデル精度回復には,ノイズ注入訓練が含まれる。しかし、訓練済みモデルから始めると高い計算コストが発生するため、実際は遅くなる可能性がある。本稿では、モデル内のノイズ感度層を識別し、その情報を用いて特定の層を凍結してノイズ注入訓練を行うSAFT手法を提案する。その結果,SAFTはノイズ注入訓練と同等の精度で,2倍から8倍高速であることがわかった。

関連論文リスト

Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文参考訳（メタデータ） (2024-03-11T16:22:41Z)
Blue noise for diffusion models [50.99852321110366]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文参考訳（メタデータ） (2024-02-07T14:59:25Z)
DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
生成学習の観点からSED問題を再構築する。具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
論文参考訳（メタデータ） (2023-08-14T17:29:41Z)
Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
論文参考訳（メタデータ） (2023-05-23T12:56:01Z)
A Novel Noise Injection-based Training Scheme for Better Model Robustness [9.749718440407811]
ノイズインジェクションに基づく手法は、人工ニューラルネットワークの堅牢性を向上させることができることが示されている。本研究では,より優れたモデルロバスト性を実現するための新しいノイズ注入型トレーニング手法を提案する。実験結果から,提案手法は対向的ロバスト性において性能が向上し,元の精度では若干性能が向上することがわかった。
論文参考訳（メタデータ） (2023-02-17T02:50:25Z)
Hard Sample Aware Noise Robust Learning for Histopathology Image Classification [4.75542005200538]
病理組織像分類のための新しいハードサンプル認識型ノイズロバスト学習法を提案する。本研究は, 難燃性難燃性試料と難燃性試料とを識別するため, 簡易・難燃性検出モデルを構築した。本稿では,雑音抑圧・高強度化(NSHE)方式を提案する。
論文参考訳（メタデータ） (2021-12-05T11:07:55Z)
Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
論文参考訳（メタデータ） (2021-10-10T10:45:24Z)
Physics-based Noise Modeling for Extreme Low-light Photography [63.65570751728917]
CMOS光センサの撮像パイプラインにおけるノイズ統計について検討する。実雑音構造を正確に特徴付けることのできる包括的ノイズモデルを定式化する。我々のノイズモデルは、学習に基づく低照度復調アルゴリズムのためのリアルなトレーニングデータを合成するのに利用できる。
論文参考訳（メタデータ） (2021-08-04T16:36:29Z)
Knowledge Distillation in Iterative Generative Models for Improved Sampling Speed [0.0]
ノイズ条件スコアネットワークなどの反復生成モデルは、初期雑音ベクトルを徐々にデノベートすることで高品質なサンプルを生成する。知識蒸留と画像生成の新たな関連性を確立し,多段階の認知過程を単一のステップに蒸留する手法を提案する。我々のDenoising Studentsは、CIFAR-10とCelebAデータセットのGANに匹敵する高品質なサンプルを生成する。
論文参考訳（メタデータ） (2021-01-07T06:12:28Z)
Identifying Training Stop Point with Noisy Labeled Data [0.0]
テスト精度(MOTA)に近いトレーニング停止点(TSP)を見つけるためのアルゴリズムを開発しています。我々は,CIFAR-10,CIFAR-100,実世界の雑音データを用いて,アルゴリズム(AutoTSP)のロバスト性を検証した。
論文参考訳（メタデータ） (2020-12-24T20:07:30Z)
Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization [26.270754571140735]
PIM加速器は、しばしば物理的成分の固有のノイズに悩まされる。雑音設定に対してロバストなニューラルネットワーク性能を実現するためのノイズ非依存手法を提案する。
論文参考訳（メタデータ） (2020-07-07T06:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。