論文の概要: Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection

• arxiv url: http://arxiv.org/abs/2309.03047v1
• Date: Wed, 6 Sep 2023 14:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 15:04:07.281200
• Title: Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection
• Title（参考訳）: 領域外検出のための事前学習型視覚変換器とCIDERの組み合わせ
• Authors: Gr\'egor Jouet, Cl\'ement Duhart, Francis Rousseaux, Julio Laborde, Cyril de Runz
• Abstract要約: ほとんどの産業用パイプラインは、CNNやVision Transformersのような下流タスクのための事前訓練されたモデルに依存している。 本稿では,ドメイン外検出におけるモデルの性能について検討する。
• 参考スコア（独自算出の注目度）: 0.774971301405295
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Out-of-domain (OOD) detection is a crucial component in industrial applications as it helps identify when a model encounters inputs that are outside the training distribution. Most industrial pipelines rely on pre-trained models for downstream tasks such as CNN or Vision Transformers. This paper investigates the performance of those models on the task of out-of-domain detection. Our experiments demonstrate that pre-trained transformers models achieve higher detection performance out of the box. Furthermore, we show that pre-trained ViT and CNNs can be combined with refinement methods such as CIDER to improve their OOD detection performance even more. Our results suggest that transformers are a promising approach for OOD detection and set a stronger baseline for this task in many contexts
• Abstract（参考訳）: ドメイン外検出(OOD)は、トレーニングディストリビューションの外にある入力にモデルがいつ遭遇するかを特定するのに役立つため、産業アプリケーションにおいて重要なコンポーネントである。 ほとんどの産業パイプラインは、cnnやvision transformersのような下流タスクのために事前訓練されたモデルに依存している。 本稿では,ドメイン外検出におけるモデルの性能について検討する。 実験により,事前学習したトランスモデルにより,箱から高い検出性能が得られることを示した。 さらに,事前学習したVTとCNNをCIDERなどの改良手法と組み合わせることで,OOD検出性能をさらに向上できることを示す。 以上の結果から,トランスフォーマーはOOD検出に有望なアプローチであり,多くの文脈において,このタスクのベースラインがより強固に設定されていることが示唆された。

関連論文リスト

• How to train your ViT for OOD Detection [36.56346240815833]
  VisionTransformerは、ImageNetスケール設定のための強力なアウト・オブ・ディストリビューション検出器である。 プレトレーニングとファインタニングの両方がViTの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-05-21T08:36:30Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)
• Efficient Two-Stage Detection of Human-Object Interactions with a Novel Unary-Pairwise Transformer [41.44769642537572]
  Unary-Pairwise Transformerは、HOIのユニタリおよびペアワイズ表現を利用する2段階の検出器である。 本手法はHICO-DETおよびV-COCOデータセット上で評価し,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-12-03T10:52:06Z)
• An Empirical Study of Training End-to-End Vision-and-Language Transformers [50.23532518166621]
  我々はMETER(textbfMultimodal textbfEnd-to-end textbfTransformtextbfER)を提案する。 具体的には、視覚エンコーダ(例えば、CLIP-ViT、Swin変換器)、テキストエンコーダ(例えば、RoBERTa、DeBERTa)、マルチモーダルフュージョン(例えば、マージアテンション対共振器)である。
  論文  参考訳（メタデータ） (2021-11-03T17:55:36Z)
• ViDT: An Efficient and Effective Fully Transformer-based Object Detector [97.71746903042968]
  検出変換器は、オブジェクト検出のための最初のエンドツーエンド学習システムである。 視覚変換器は、画像分類のための最初の完全変換器ベースのアーキテクチャである。 本稿では、視覚・検出変換器(ViDT)を統合し、効果的で効率的な物体検出装置を構築する。
  論文  参考訳（メタデータ） (2021-10-08T06:32:05Z)
• Toward Transformer-Based Object Detection [12.704056181392415]
  ビジョントランスフォーマーは、共通の検出タスクヘッドによってバックボーンとして使用することができ、競合するCOCO結果を生成する。 vit-frcnnは、大きな事前訓練能力と高速微調整性能を含むトランスフォーマーに関連するいくつかの既知の特性を示す。 ViT-FRCNNは、オブジェクト検出などの複雑な視覚タスクの純粋なトランスフォーマーソリューションへの重要なステップストーンであると考えています。
  論文  参考訳（メタデータ） (2020-12-17T22:33:14Z)
• UP-DETR: Unsupervised Pre-training for Object Detection with Transformers [11.251593386108189]
  教師なし事前学習型DETR(UP-DETR)におけるランダムクエリパッチ検出という新しいプレテキストタスクを提案する。 具体的には、与えられた画像からパッチをランダムに取り出し、デコーダにクエリとして与えます。 UP-DETRは、より高速な収束とオブジェクト検出、ワンショット検出、パノプティックセグメンテーションにおける平均精度でDETRの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-11-18T05:16:11Z)
• Pretrained Transformers Improve Out-of-Distribution Robustness [72.38747394482247]
  7つのNLPデータセットのアウト・オブ・ディストリビューションの一般化を測定する。 本研究では,事前学習したトランスフォーマーの性能低下が著しく小さいことを示す。 どちらがロバスト性に影響を与えるかを調べ、より大きなモデルが必ずしもロバストであるとは限らないことを発見した。
  論文  参考訳（メタデータ） (2020-04-13T17:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。