Fugu-MT 論文翻訳(概要): AFN: Adaptive Fusion Normalization via Encoder-Decoder Framework

論文の概要: AFN: Adaptive Fusion Normalization via Encoder-Decoder Framework

arxiv url: http://arxiv.org/abs/2308.03321v1
Date: Mon, 7 Aug 2023 06:08:51 GMT
ステータス: 処理完了
システム内更新日: 2023-08-08 15:02:14.156081
Title: AFN: Adaptive Fusion Normalization via Encoder-Decoder Framework
Title（参考訳）: AFN: Encoder-Decoder Frameworkによる適応核融合正規化
Authors: Zikai Zhou, Huanran Chen
Abstract要約: 適応核融合正規化(Adaptive Fusion Normalization)と呼ばれる新しい正規化関数を提案する。実験により、AFNは、領域一般化および画像分類タスクにおいて、従来の正規化手法よりも優れていることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The success of deep learning is inseparable from normalization layers. Researchers have proposed various normalization functions, and each of them has both advantages and disadvantages. In response, efforts have been made to design a unified normalization function that combines all normalization procedures and mitigates their weaknesses. We also proposed a new normalization function called Adaptive Fusion Normalization. Through experiments, we demonstrate AFN outperforms the previous normalization techniques in domain generalization and image classification tasks.
Abstract（参考訳）: ディープラーニングの成功は、正規化層とは区別できない。研究者は様々な正規化関数を提案しており、それぞれに利点と欠点がある。これに対し、すべての正規化手順を組み合わせて弱点を緩和する統一正規化関数を設計する努力がなされている。また,Adaptive Fusion Normalizationと呼ばれる新しい正規化関数も提案した。実験により,AFNは領域一般化や画像分類タスクにおいて,従来の正規化手法よりも優れていた。

関連論文リスト

Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文参考訳（メタデータ） (2024-10-22T10:19:27Z)
Unsupervised Adaptive Normalization [0.07499722271664146]
Unsupervised Adaptive Normalization (UAN)は、クラスタリングとディープニューラルネットワーク学習をシームレスに統合する革新的なアルゴリズムである。 UANは、対象タスクに適応することで古典的手法よりも優れており、分類やドメイン適応に有効である。
論文参考訳（メタデータ） (2024-09-07T08:14:11Z)
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文参考訳（メタデータ） (2021-06-15T15:16:28Z)
Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence [8.411385346896413]
階層正規化とインスタンス正規化の両方が、ニューラルネットワークのプレアクティベーションにおける障害モードの出現を誘導することがわかった。本稿では,プロキシ分布を用いたポストアクティベーションの正規化手法であるプロキシ正規化を提案する。層正規化やグループ正規化と組み合わせると、バッチ非依存の正規化はバッチ正規化の振る舞いをエミュレートし、そのパフォーマンスを一貫して一致または超える。
論文参考訳（メタデータ） (2021-06-07T16:08:48Z)
Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
論文参考訳（メタデータ） (2020-09-27T13:06:52Z)
A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文参考訳（メタデータ） (2020-06-26T08:34:54Z)
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。正規化の分散が主な役割を担い、本研究に説明を与える。
論文参考訳（メタデータ） (2020-06-23T04:35:22Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)
Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文参考訳（メタデータ） (2020-04-14T07:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。