Fugu-MT 論文翻訳(概要): Post-Training BatchNorm Recalibration

論文の概要: Post-Training BatchNorm Recalibration

arxiv url: http://arxiv.org/abs/2010.05625v1
Date: Mon, 12 Oct 2020 11:51:08 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 07:34:34.121022
Title: Post-Training BatchNorm Recalibration
Title（参考訳）: 研修後バッチノートの校正
Authors: Gil Shomron, Uri Weiser
Abstract要約: Wevisit non-blocking simultaneously multithreading (NB-SMT) developed by Shomron and Weiser。 NB-SMTは、複数のスレッドを共有多重累積(MAC)ユニットに"スクイーズ"することで、パフォーマンスの正確さを交換する。バッチ正規化レイヤの実行平均値と実行分散統計値のトレーニング後の再校正によって,かなりのモデル性能が再現可能であることを示す。
参考スコア（独自算出の注目度）: 2.3931689873603603
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We revisit non-blocking simultaneous multithreading (NB-SMT) introduced previously by Shomron and Weiser (2020). NB-SMT trades accuracy for performance by occasionally "squeezing" more than one thread into a shared multiply-and-accumulate (MAC) unit. However, the method of accommodating more than one thread in a shared MAC unit may contribute noise to the computations, thereby changing the internal statistics of the model. We show that substantial model performance can be recouped by post-training recalibration of the batch normalization layers' running mean and running variance statistics, given the presence of NB-SMT.
Abstract（参考訳）: 我々はshomron と weiser (2020) が以前に導入した非ブロッキング同時マルチスレッディング (nb-smt) を再検討する。 NB-SMTは、複数のスレッドを共有多重累積(MAC)ユニットに"スクイーズ"することで、パフォーマンスの正確さを交換する。しかし、共有MACユニット内の複数のスレッドを収容する方法は、計算にノイズを与える可能性があり、それによってモデルの内部統計が変化する。 nb-smt の存在を考慮し,バッチ正規化層の実行平均と実行分散統計値のトレーニング後再校正により,モデル性能が大幅に向上することを示す。

関連論文リスト

Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions [3.347388046213879]
本稿では,一段階生成モデルの学習のための新しいフレームワークであるSMTを提案する。 SMTは、複数のノイズレベルにわたる実検体と偽検体の混合分布のスコアを推定する。提案手法は,Score-of-Mixture Distillation (SMD)と呼ばれる事前学習拡散モデルを用いて,スクラッチ(SMT)と蒸留の両方のトレーニングを支援する。
論文参考訳（メタデータ） (2025-02-13T18:57:20Z)
MTSCI: A Conditional Diffusion Model for Multivariate Time Series Consistent Imputation [41.681869408967586]
主要な研究課題は、どのようにインパルスの整合性を確保するか、すなわち観測値とインパルス値の整合性を確保するかである。従来の手法は、学習プロセスを導くために、計算対象の帰納的バイアスにのみ依存する。
論文参考訳（メタデータ） (2024-08-11T10:24:53Z)
Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts [104.9871176044644]
Masked Autoencoder (MAE) は,モデル事前学習において有望な結果が得られる自己教師型学習手法である。我々は、新しいMAEベースの事前学習パラダイム、Mixture of Cluster-conditional Experts (MoCE)を提案する。 MoCEは、クラスタ条件ゲートを使用して、各専門家にセマンティックなイメージのみをトレーニングする。
論文参考訳（メタデータ） (2024-02-08T03:46:32Z)
Distributed MCMC inference for Bayesian Non-Parametric Latent Block Model [0.24578723416255754]
ベイジアン非パラメトリック潜在ブロックモデル(DisNPLBM)のための分散マルコフ連鎖モンテカルロ(MCMC)推論手法を提案する。我々の非パラメトリックコクラスタリングアルゴリズムは、潜在多変量ガウスブロック分布を用いて観測と特徴を分割する。 DisNPLBMは、実験結果を通じてクラスタラベリングの精度と実行時間に与える影響を実証する。
論文参考訳（メタデータ） (2024-02-01T22:43:55Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文参考訳（メタデータ） (2023-11-27T12:02:42Z)
Meta Learning MDPs with Linear Transition Models [22.508479528847634]
マルコフ決定過程 (MDP) におけるメタラーニングについて, 線形遷移モデルを用いて検討した。本稿では,UC-Matrix RLアルゴリズムのバージョンであるBUC-MatrixRLを提案する。 BUC-Matrix RLは,タスクを個別に学習するのに比べて,高バイアス低分散タスク分布に対する伝達後悔の大幅な改善を提供する。
論文参考訳（メタデータ） (2022-01-21T14:57:03Z)
Estimating Average Treatment Effects with Support Vector Machines [77.34726150561087]
サポートベクターマシン(SVM)は、機械学習文献で最も人気のある分類アルゴリズムの1つです。我々はsvmをカーネルベースの重み付け手順として適用し,治療群と制御群の最大平均差を最小化する。このトレードオフから生じる因果効果推定のバイアスを特徴づけ、提案されたSVM手順と既存のカーネルバランシング手法を結びつけます。
論文参考訳（メタデータ） (2021-02-23T20:22:56Z)
Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文参考訳（メタデータ） (2020-10-10T08:48:41Z)
XEM: An Explainable-by-Design Ensemble Method for Multivariate Time Series Classification [61.33695273474151]
マルチ変数時系列分類のためのeXplainable-by-design Ensemble法であるXEMを提案する。 XEMは、明示的なブースティング・バッグ・アプローチと暗黙的なディペンション・アンド・コンカ・アプローチを組み合わせた新しいハイブリッド・アンサンブル法に依存している。評価の結果、XEM は、パブリック UEA データセット上で最先端の MTS 分類器よりも優れていることがわかった。
論文参考訳（メタデータ） (2020-05-07T17:50:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。