Fugu-MT 論文翻訳(概要): Rethinking "Batch" in BatchNorm

論文の概要: Rethinking "Batch" in BatchNorm

arxiv url: http://arxiv.org/abs/2105.07576v1
Date: Mon, 17 May 2021 01:58:15 GMT
ステータス: 処理完了
システム内更新日: 2021-05-19 02:37:44.783739
Title: Rethinking "Batch" in BatchNorm
Title（参考訳）: BatchNormにおける"バッチ"の再考
Authors: Yuxin Wu, Justin Johnson
Abstract要約: BatchNormは、現代の畳み込みニューラルネットワークにおける重要なビルディングブロックです。本稿では,視覚認知タスクにおけるこのような問題を徹底的にレビューし,BatchNormの「バッチ」概念における異なる選択を再考することの鍵となることを示す。
参考スコア（独自算出の注目度）: 25.69755850518617
License: http://creativecommons.org/licenses/by/4.0/
Abstract: BatchNorm is a critical building block in modern convolutional neural networks. Its unique property of operating on "batches" instead of individual samples introduces significantly different behaviors from most other operations in deep learning. As a result, it leads to many hidden caveats that can negatively impact model's performance in subtle ways. This paper thoroughly reviews such problems in visual recognition tasks, and shows that a key to address them is to rethink different choices in the concept of "batch" in BatchNorm. By presenting these caveats and their mitigations, we hope this review can help researchers use BatchNorm more effectively.
Abstract（参考訳）: BatchNormは、現代の畳み込みニューラルネットワークにおいて重要なビルディングブロックである。個々のサンプルではなく"バッチ"で操作するというユニークな特性は、ディープラーニングにおける他のほとんどの操作とは大きく異なる振る舞いをもたらす。その結果、モデルのパフォーマンスに微妙に悪影響を及ぼす可能性のある多くの隠れた注意点につながります。本稿では,視覚認知タスクにおけるこのような問題を徹底的にレビューし,BatchNormの「バッチ」概念における異なる選択を再考することの鍵となることを示す。これらの注意点とその緩和点を提示することで、このレビューがBatchNormをより効果的に活用できることを期待している。

関連論文リスト

Deconstructing In-Context Learning: Understanding Prompts via Corruption [13.37109575313212]
プロンプト全体を4つのコンポーネント(タスク記述、デモインプット、ラベル、インラインインストラクション)に分解する。分類と生成タスクをカバーする10のデータセットを用いて,1.5Bから70Bのモデルについて検討した。プロンプト内の繰り返しテキストはモデル性能を向上し、より大きなモデルはプロンプトのセマンティクスに敏感であることがわかった。
論文参考訳（メタデータ） (2024-04-02T15:50:55Z)
Bongard-HOI: Benchmarking Few-Shot Visual Reasoning for Human-Object Interactions [138.49522643425334]
Bongard-HOIは、自然画像からの人間と物体の相互作用の合成学習に焦点を当てた、新しい視覚的推論ベンチマークである。古典的ボナード問題(BP)の2つの望ましい特徴に着想を得たものである。 Bongard-HOIは、今日の視覚認識モデルに重大な課題を提示している。
論文参考訳（メタデータ） (2022-05-27T07:36:29Z)
BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。 BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文参考訳（メタデータ） (2022-03-03T05:31:33Z)
Training BatchNorm Only in Neural Architecture Search and Beyond [17.21663067385715]
BatchNormのトレーニングが、スーパーネットトレーニング時間を短縮したパフォーマンスウェルアーキテクチャのみを見つけることができる理由を理解するための努力はない。列車BNのみのスーパーネットは、他の演算子よりも畳み込みに有利であり、アーキテクチャ間の不公平な競合を引き起こすことを示す。 3つの視点からネットワークを評価するための新しい複合性能指標を提案する。
論文参考訳（メタデータ） (2021-12-01T04:09:09Z)
Can contrastive learning avoid shortcut solutions? [88.249082564465]
暗黙的特徴修正(IFM)は、より広い種類の予測的特徴を捉えるために、対照的なモデルを導くために、正と負のサンプルを変更する方法である。 IFMは特徴抑制を低減し、その結果、視覚および医用画像タスクのパフォーマンスが向上する。
論文参考訳（メタデータ） (2021-06-21T16:22:43Z)
Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
ノイズコントラスト学習は教師なし表現学習の一般的な手法である。我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
論文参考訳（メタデータ） (2021-06-18T06:44:16Z)
Batched Neural Bandits [107.5072688105936]
BatchNeuralUCBはニューラルネットワークと楽観性を組み合わせ、探索と探索のトレードオフに対処する。 BatchNeuralUCBは、完全なシーケンシャルバージョンと同じ後悔を達成しつつ、ポリシー更新の数を大幅に減らしています。
論文参考訳（メタデータ） (2021-02-25T17:36:44Z)
PowerEvaluationBALD: Efficient Evaluation-Oriented Deep (Bayesian) Active Learning with Stochastic Acquisition Functions [2.0305676256390934]
深層アクティブ学習のための新しい獲得関数である batchevaluationbald を開発した。また、評価情報ゲインと呼ばれる非ベイジアン設定の変種も開発しています。計算要求を減らし,これらの手法をより大きなバッチサイズにスケールできるようにするため,テンパリングされた獲得スコアの重要サンプリングを利用する獲得関数を導入する。
論文参考訳（メタデータ） (2021-01-10T13:46:45Z)
Partial Bandit and Semi-Bandit: Making the Most Out of Scarce Users' Feedback [62.997667081978825]
本稿では,ユーザのフィードバックを考慮し,3つの戦略を用いて評価する手法を提案する。ユーザからのフィードバックが制限されているにも関わらず(全体の20%以下)、我々の手法は最先端のアプローチと同じような結果が得られる。
論文参考訳（メタデータ） (2020-09-16T07:32:51Z)
Towards an Adversarially Robust Normalization Approach [8.744644782067368]
バッチ正規化(BatchNorm)は、ディープニューラルネットワークのパフォーマンス向上とトレーニングの高速化に有効である。それはまた、敵の脆弱性、すなわち敵の攻撃に対して堅牢でないネットワークの原因であることも示している。本稿では,BatchNormの逆の頑健なバージョンであるRobustNorm(Robust Normalization)を提案する。
論文参考訳（メタデータ） (2020-06-19T08:12:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。