論文の概要: Enhanced Performance of Pre-Trained Networks by Matched Augmentation
Distributions
- arxiv url: http://arxiv.org/abs/2201.07894v1
- Date: Wed, 19 Jan 2022 22:33:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-22 02:38:35.218964
- Title: Enhanced Performance of Pre-Trained Networks by Matched Augmentation
Distributions
- Title（参考訳）: マッチング強化分布による事前学習ネットワークの性能向上
- Authors: Touqeer Ahmad, Mohsen Jafarzadeh, Akshay Raj Dhamija, Ryan Rabinowitz,
Steve Cruz, Chunchun Li, Terrance E. Boult
- Abstract要約: 列車-テストの分散シフトに対処するための簡単な解を提案する。
テスト画像に対して、複数のランダムな作物に対して結果を合成する。
これは列車の時間拡張と一致するだけでなく、入力画像の完全なカバレッジも提供する。
- 参考スコア（独自算出の注目度）: 10.74023489125222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There exists a distribution discrepancy between training and testing, in the
way images are fed to modern CNNs. Recent work tried to bridge this gap either
by fine-tuning or re-training the network at different resolutions. However
re-training a network is rarely cheap and not always viable. To this end, we
propose a simple solution to address the train-test distributional shift and
enhance the performance of pre-trained models -- which commonly ship as a
package with deep learning platforms \eg, PyTorch. Specifically, we demonstrate
that running inference on the center crop of an image is not always the best as
important discriminatory information may be cropped-off. Instead we propose to
combine results for multiple random crops for a test image. This not only
matches the train time augmentation but also provides the full coverage of the
input image. We explore combining representation of random crops through
averaging at different levels \ie, deep feature level, logit level, and softmax
level. We demonstrate that, for various families of modern deep networks, such
averaging results in better validation accuracy compared to using a single
central crop per image. The softmax averaging results in the best performance
for various pre-trained networks without requiring any re-training or
fine-tuning whatsoever. On modern GPUs with batch processing, the paper's
approach to inference of pre-trained networks, is essentially free as all
images in a batch can all be processed at once.
- Abstract（参考訳）: 画像が現代のcnnに供給されるように、トレーニングとテストの間には分布の相違がある。
最近の研究は、異なる解像度でネットワークを微調整または再訓練することで、このギャップを埋めようとした。
しかし、ネットワークの再トレーニングはめったに安く、必ずしも実現できない。
この目的のために、私たちは、列車-テストの分散シフトに対処し、事前訓練されたモデルの性能を高めるための簡単なソリューションを提案します。
具体的には,画像のセンタクロップ上での推論が必ずしも重要な判別情報が切り落とされるため,必ずしも最善ではないことを示す。
代わりに、テスト画像に対する複数のランダムな作物の結果を組み合わせることを提案する。
これは列車の時間拡張と一致するだけでなく、入力画像の完全なカバレッジも提供する。
我々は,異なるレベルの平均化,深い機能レベル,ロジットレベル,ソフトマックスレベルを用いてランダム作物の表現を組み合わせることを検討する。
本研究では,現代の深層ネットワークの様々なファミリーにおいて,その平均化による検証精度が,画像当たりの中央作物1本よりも高いことを実証する。
softmax平均化は、再トレーニングや微調整をまったく必要とせずに、さまざまな事前学習されたネットワークで最高のパフォーマンスをもたらす。
バッチ処理を備えた最新のGPUでは、プリトレーニング済みネットワークの推論に対する論文のアプローチは、バッチ内のすべてのイメージを一度に処理できるため、基本的に無料である。
関連論文リスト
- Boosting Verified Training for Robust Image Classifications via
Abstraction [20.656457368486876]
本稿では,ロバストな画像分類器のための新しい,抽象的,認証されたトレーニング手法を提案する。
間隔のトレーニングにより、同じ間隔にマッピングされた全ての摂動画像を同じラベルに分類する。
また,この学習手法により,健全かつ完全なブラックボックス検証手法が実現される。
論文 参考訳（メタデータ） (2023-03-21T02:38:14Z) - Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。
本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。
我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文 参考訳（メタデータ） (2022-06-26T00:37:33Z) - CropMix: Sampling a Rich Input Distribution via Multi-Scale Cropping [97.05377757299672]
そこで本研究では,元のデータセット分布からリッチな入力分布を生成するための簡単なCropMixを提案する。
CropMixは、分類タスクを実行するトレーニングレシピやニューラルネットワークアーキテクチャにシームレスに適用することができる。
CropMixは、より強力な表現に向けて、対照的な学習とマスクされた画像モデリングの両方に利益があることを示す。
論文 参考訳（メタデータ） (2022-05-31T16:57:28Z) - On Efficient Transformer and Image Pre-training for Low-level Vision [74.22436001426517]
プレトレーニングは、ハイレベルコンピュータビジョンにおける多くの最先端の芸術である。
画像事前学習の詳細な研究について述べる。
低レベルのタスクでは,事前トレーニングが極めて異なる役割を担っています。
論文 参考訳（メタデータ） (2021-12-19T15:50:48Z) - Tensor Normalization and Full Distribution Training [3.962145079528281]
線形単位とバッチ正規化の後に挿入されるピクセルワイド正規化は、現代のディープニューラルネットワークの精度を大幅に向上させる。
トレーニングセットからのイメージの因子的重ね合わせと、マルチラベル問題へのマルチクラス問題の再構成により、より堅牢なネットワークが得られることを示す。
論文 参考訳（メタデータ） (2021-09-06T10:33:17Z) - ResMLP: Feedforward networks for image classification with
data-efficient training [73.26364887378597]
画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。
Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
論文 参考訳（メタデータ） (2021-05-07T17:31:44Z) - Jigsaw Clustering for Unsupervised Visual Representation Learning [68.09280490213399]
本稿では,新しいjigsawクラスタリング・プレテキストタスクを提案する。
本手法は画像内情報と画像間情報の両方を利用する。
トレーニングバッチの半分しか使用されていない場合、コントラスト学習方法にも匹敵します。
論文 参考訳（メタデータ） (2021-04-01T08:09:26Z) - Twice Mixing: A Rank Learning based Quality Assessment Approach for
Underwater Image Enhancement [42.03072878219206]
水中画像強調(UIE)のためのランク学習誘導非参照品質評価法を提案する。
Twice Mixingと呼ばれるこの手法は、高品質な画像と低品質な画像とを混合することにより、中質な画像を生成することができるという観察によって動機付けられている。
我々は、合成データセットと実世界のデータセットの両方について広範な実験を行う。
論文 参考訳（メタデータ） (2021-02-01T07:13:39Z) - An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human
Pose Estimation [80.02124918255059]
半教師付き学習は、ラベルなし画像の探索によってモデルの精度を高めることを目的としている。
私たちは相互に教え合うために2つのネットワークを学びます。
各ネットワーク内の容易なイメージに関するより信頼性の高い予測は、他のネットワークに対応するハードイメージについて学ぶように教えるために使用される。
論文 参考訳（メタデータ） (2020-11-25T03:29:52Z) - Increasing the Robustness of Semantic Segmentation Models with
Painting-by-Numbers [39.95214171175713]
我々は,物体の形状に対するネットワークバイアスを増大させることにより,出力を改善することができる画像分類からの洞察に基づいて構築する。
我々の基本的な考え方は、RGBトレーニング画像の一部を偽画像でアルファブレンドすることであり、各クラスラベルには、固定されたランダムに選択された色が与えられる。
各種ネットワークバックボーン,MobileNet-V2,ResNets,Xceptionを用いたDeepLabv3+のトレーニングスキーマの有効性を実証し,Cityscapesデータセットで評価した。
論文 参考訳（メタデータ） (2020-10-12T07:42:39Z) - DiverseNet: When One Right Answer is not Enough [35.764028730120096]
テスト時間クエリ毎に多様な構造化された予測を可能にするニューラルネットワークのトレーニング方法を提案する。
提案手法は,2次元画像補完,3次元ボリューム推定,フロー予測という3つの課題にまたがって定量的な改善をもたらす。
論文 参考訳（メタデータ） (2020-08-24T18:12:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。