Fugu-MT 論文翻訳(概要): How to train your ViT for OOD Detection

論文の概要: How to train your ViT for OOD Detection

arxiv url: http://arxiv.org/abs/2405.17447v1
Date: Tue, 21 May 2024 08:36:30 GMT
ステータス: 処理完了
システム内更新日: 2024-06-02 14:30:04.759300
Title: How to train your ViT for OOD Detection
Title（参考訳）: OOD検出のためのViTのトレーニング方法
Authors: Maximilian Mueller, Matthias Hein,
Abstract要約: VisionTransformerは、ImageNetスケール設定のための強力なアウト・オブ・ディストリビューション検出器である。プレトレーニングとファインタニングの両方がViTの性能に与える影響について検討する。
参考スコア（独自算出の注目度）: 36.56346240815833
License: http://creativecommons.org/licenses/by/4.0/
Abstract: VisionTransformers have been shown to be powerful out-of-distribution detectors for ImageNet-scale settings when finetuned from publicly available checkpoints, often outperforming other model types on popular benchmarks. In this work, we investigate the impact of both the pretraining and finetuning scheme on the performance of ViTs on this task by analyzing a large pool of models. We find that the exact type of pretraining has a strong impact on which method works well and on OOD detection performance in general. We further show that certain training schemes might only be effective for a specific type of out-distribution, but not in general, and identify a best-practice training recipe.
Abstract（参考訳）: VisionTransformerは、パブリックなチェックポイントから微調整されたときに、ImageNetスケール設定のための強力な配布外検知器であることが示されている。本研究では, モデルプールの大規模解析により, 事前学習と微調整の両方がViTの性能に与える影響について検討する。プレトレーニングの精度は,どの方法が有効か,OOD検出性能に強い影響を与えることがわかった。さらに,特定のトレーニングスキームは,特定のアウト・ディストリビューションに対してのみ有効であるが,一般には有効ではないことを示し,ベストプラクティスのトレーニングレシピを同定する。

関連論文リスト

How Effective is Pre-training of Large Masked Autoencoders for Downstream Earth Observation Tasks? [9.515532265294187]
自己教師付き事前訓練は多くのコンピュータビジョンタスクに非常に効果的であることが証明されている。事前訓練されたモデルがスクラッチからトレーニングするよりも大きなアドバンテージを提供する条件は、まだ不明である。
論文参考訳（メタデータ） (2024-09-27T08:15:14Z)
An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
論文参考訳（メタデータ） (2024-04-18T14:14:44Z)
StochCA: A Novel Approach for Exploiting Pretrained Models with Cross-Attention [2.66269503676104]
トランスフォーマーアーキテクチャに特有なクロスアテンション(StochCA)と呼ばれる新しい微調整手法を提案する。この方法はトランスフォーマーの自己保持機構を変更し、微調整中に事前学習したモデルからの知識を選択的に活用する。両領域の最先端アプローチに対するStochCAの優位性について検討した。
論文参考訳（メタデータ） (2024-02-25T13:53:49Z)
Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection [0.774971301405295]
ほとんどの産業用パイプラインは、CNNやVision Transformersのような下流タスクのための事前訓練されたモデルに依存している。本稿では,ドメイン外検出におけるモデルの性能について検討する。
論文参考訳（メタデータ） (2023-09-06T14:41:55Z)
A Closer Look at Self-Supervised Lightweight Vision Transformers [44.44888945683147]
大規模視覚変換器(ViT)の自己教師型学習を事前学習法として実現した。画像分類タスクと下流密度予測タスクに関する自己教師付き事前学習手法のベンチマークを行った。バニラ・ライトウェイトなViTでさえ、デリケートなアーキテクチャ設計を持つ以前のSOTAネットワークに匹敵する性能を示している。
論文参考訳（メタデータ） (2022-05-28T14:14:57Z)
Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文参考訳（メタデータ） (2022-03-25T19:44:09Z)
Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文参考訳（メタデータ） (2021-11-24T06:18:32Z)
Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文参考訳（メタデータ） (2020-12-08T18:03:21Z)
Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection [86.0580214485104]
本稿では,オブジェクト検出のための汎用的で効率的な事前学習パラダイムであるMontage事前学習を提案する。 Montage事前トレーニングは、ターゲット検出データセットのみを必要とするが、広く採用されているImageNet事前トレーニングと比較して、計算リソースは1/4しかない。モンタージュ事前学習の効率と有効性は、MS-COCOデータセットの広範な実験によって検証される。
論文参考訳（メタデータ） (2020-04-25T16:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。