論文の概要: Tensor Normalization and Full Distribution Training
- arxiv url: http://arxiv.org/abs/2109.02345v1
- Date: Mon, 6 Sep 2021 10:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-07 16:51:44.266072
- Title: Tensor Normalization and Full Distribution Training
- Title（参考訳）: テンソル正規化とフルディストリビューショントレーニング
- Authors: Wolfgang Fuhl
- Abstract要約: 線形単位とバッチ正規化の後に挿入されるピクセルワイド正規化は、現代のディープニューラルネットワークの精度を大幅に向上させる。
トレーニングセットからのイメージの因子的重ね合わせと、マルチラベル問題へのマルチクラス問題の再構成により、より堅牢なネットワークが得られることを示す。
- 参考スコア（独自算出の注目度）: 3.962145079528281
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we introduce pixel wise tensor normalization, which is inserted
after rectifier linear units and, together with batch normalization, provides a
significant improvement in the accuracy of modern deep neural networks. In
addition, this work deals with the robustness of networks. We show that the
factorized superposition of images from the training set and the reformulation
of the multi class problem into a multi-label problem yields significantly more
robust networks. The reformulation and the adjustment of the multi class log
loss also improves the results compared to the overlay with only one class as
label.
https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/?p=%2FTNandFDT&mode=list
- Abstract（参考訳）: 本研究では,整流器線形ユニットの後に挿入され,バッチ正規化とともに,現代のディープニューラルネットワークの精度を大幅に向上させる画素ワイドテンソル正規化を提案する。
さらに、この作業はネットワークの堅牢性を扱う。
トレーニングセットからの画像の分解重ね合わせとマルチクラス問題のマルチラベル問題への再構成により,ネットワークの堅牢性が著しく向上することを示す。
マルチクラスログ損失の修正と調整は、ラベルとして1つのクラスしか持たないオーバーレイと比較しても改善される。
https://atreus.informatik.uni-tuebingen.de/seafile/d/8e2ab8c3fdd444e1a135/?p=%2FTNandFDT&mode=list
関連論文リスト
- Revisiting Data Augmentation for Rotational Invariance in Convolutional
Neural Networks [0.29127054707887967]
画像分類のためのCNNにおける回転不変性について検討する。
実験により、データ拡張だけで訓練されたネットワークは、通常の非回転の場合と同様に、回転した画像の分類がほぼ可能であることが示された。
論文 参考訳（メタデータ） (2023-10-12T15:53:24Z) - Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。
我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。
これらの機構の集約演算子に補正項を提示する。
論文 参考訳（メタデータ） (2023-06-02T15:19:08Z) - Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。
追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。
スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
論文 参考訳（メタデータ） (2022-09-30T15:15:05Z) - Improvements to Gradient Descent Methods for Quantum Tensor Network
Machine Learning [0.0]
任意のテンソルネットワークの初期化に成功したコピーノード方式を提案する。
本稿では、量子インスパイアされたテンソルネットワークモデルを生成する手法の組み合わせを示す数値的な結果を示す。
論文 参考訳（メタデータ） (2022-03-03T19:00:40Z) - Enhanced Performance of Pre-Trained Networks by Matched Augmentation
Distributions [10.74023489125222]
列車-テストの分散シフトに対処するための簡単な解を提案する。
テスト画像に対して、複数のランダムな作物に対して結果を合成する。
これは列車の時間拡張と一致するだけでなく、入力画像の完全なカバレッジも提供する。
論文 参考訳（メタデータ） (2022-01-19T22:33:00Z) - ZerO Initialization: Initializing Residual Networks with only Zeros and
Ones [44.66636787050788]
ディープニューラルネットワークは通常ランダムウェイトを持ち、トレーニング中に安定した信号伝達を保証するために適切に選択された初期分散を持つ。
ばらつきの選択方法にはコンセンサスがなく、レイヤーの数が増えるにつれて、これは難しくなります。
本研究では、広く使われているランダムウェイト初期化を、ゼロと1しか持たない残差ネットワークを初期化する完全決定論的初期化スキームZerOに置き換える。
驚くべきことに、ZerOはImageNetを含むさまざまな画像分類データセットに対して最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2021-10-25T06:17:33Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - ResMLP: Feedforward networks for image classification with
data-efficient training [73.26364887378597]
画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。
Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
論文 参考訳（メタデータ） (2021-05-07T17:31:44Z) - Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。
埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。
複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
論文 参考訳（メタデータ） (2020-03-09T13:51:09Z) - Molecule Property Prediction and Classification with Graph Hypernetworks [113.38181979662288]
ネットワークをハイパーネットワークに置き換えることで性能が向上することを示す。
ハイパーネットワークの適用において大きな困難は、安定性の欠如である。
最近の研究は、エラー訂正コードのコンテキストにおいて、ハイパーネットワークのトレーニング不安定性に取り組んでいる。
論文 参考訳（メタデータ） (2020-02-01T16:44:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。