論文の概要: MSPE: Multi-Scale Patch Embedding Prompts Vision Transformers to Any Resolution

• arxiv url: http://arxiv.org/abs/2405.18240v1
• Date: Tue, 28 May 2024 14:50:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:09:42.681482
• Title: MSPE: Multi-Scale Patch Embedding Prompts Vision Transformers to Any Resolution
• Title（参考訳）: MSPE: プロンプト・ビジョン・トランスフォーマーをどんな解像度でも組み込むマルチスケールパッチ
• Authors: Wenzhuo Liu, Fei Zhu, Shijie Ma, Cheng-Lin Liu,
• Abstract要約: 本稿では,パッチ埋め込みを最適化することにより,解像度変化に対するモデル適応性を向上させることを提案する。 提案手法はMulti-Scale Patch Embedding (MSPE) と呼ばれ、複数の可変サイズのパッチカーネルに標準パッチを埋め込む。 我々の手法は、他の部品への高コストなトレーニングや修正を必要としないため、ほとんどのViTモデルにも容易に適用できる。
• 参考スコア（独自算出の注目度）: 31.564277546050484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although Vision Transformers (ViTs) have recently advanced computer vision tasks significantly, an important real-world problem was overlooked: adapting to variable input resolutions. Typically, images are resized to a fixed resolution, such as 224x224, for efficiency during training and inference. However, uniform input size conflicts with real-world scenarios where images naturally vary in resolution. Modifying the preset resolution of a model may severely degrade the performance. In this work, we propose to enhance the model adaptability to resolution variation by optimizing the patch embedding. The proposed method, called Multi-Scale Patch Embedding (MSPE), substitutes the standard patch embedding with multiple variable-sized patch kernels and selects the best parameters for different resolutions, eliminating the need to resize the original image. Our method does not require high-cost training or modifications to other parts, making it easy to apply to most ViT models. Experiments in image classification, segmentation, and detection tasks demonstrate the effectiveness of MSPE, yielding superior performance on low-resolution inputs and performing comparably on high-resolution inputs with existing methods.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンのタスクを著しく進歩させたが、実際の重要な問題は見過ごされた。 通常、画像は224x224などの固定解像度にリサイズされ、トレーニングと推論の効率が向上する。 しかし、均一な入力サイズは、画像の解像度が自然に変化する現実世界のシナリオと矛盾する。 モデルの事前設定された解像度を変更することで、パフォーマンスが著しく低下する可能性がある。 本研究では,パッチ埋め込みを最適化することにより,解像度変化に対するモデル適応性を向上させることを提案する。 提案手法はマルチスケールパッチ埋め込み (Multi-Scale Patch Embedding, MPE) と呼ばれ、複数の可変サイズのパッチカーネルを埋め込んだ標準的なパッチを代替し、異なる解像度で最適なパラメータを選択する。 我々の手法は、他の部品への高コストなトレーニングや修正を必要としないため、ほとんどのViTモデルにも容易に適用できる。 画像分類,セグメンテーション,検出タスクの実験は,MSPEの有効性を示し,低解像度入力では優れた性能を示し,既存の手法では高解像度入力では相容れない性能を示した。

関連論文リスト

• Looking for Tiny Defects via Forward-Backward Feature Transfer [12.442574943138794]
  そこで本研究では,従来の高解像度画像と地中トラスマスクの手法を評価する新しいベンチマークを提案する。 私たちのベンチマークには、欠陥サイズに関する堅牢性をキャプチャするメトリクスが含まれています。 提案手法は,欠陥サイズに対する高いロバスト性,高速動作,最先端セグメンテーション性能を特徴とする。
  論文  参考訳（メタデータ） (2024-07-04T17:59:26Z)
• ViTAR: Vision Transformer with Any Resolution [80.95324692984903]
  ビジョントランスフォーマーは、トレーニング中に見られるものと異なる処理解像度で性能低下を経験する。 複数の解像度で一貫した位置認識を提供するために、視覚変換器にファジィ位置符号化を導入する。 我々のモデルであるViTARは、1120x1120の解像度で83.3%、4032x4032の解像度で80.4%の精度で、優れた適応性を示す。
  論文  参考訳（メタデータ） (2024-03-27T08:53:13Z)
• PTSR: Patch Translator for Image Super-Resolution [16.243363392717434]
  画像超解像(PTSR)のためのパッチトランスレータを提案し,この問題に対処する。 提案するPTSRは、畳み込み動作のないトランスフォーマーベースGANネットワークである。 マルチヘッドアテンションを利用した改良パッチを再生するための新しいパッチトランスレータモジュールを提案する。
  論文  参考訳（メタデータ） (2023-10-20T01:45:00Z)
• DBAT: Dynamic Backward Attention Transformer for Material Segmentation with Cross-Resolution Patches [8.812837829361923]
  クロスレゾリューション特徴を集約する動的後方アテンション変換器(DBAT)を提案する。 実験の結果,DBATの精度は86.85%であり,最先端のリアルタイムモデルの中では最高の性能であることがわかった。 さらに,提案モデルが他の手法よりも優れた材料関連特徴を抽出できることを示すため,セマンティックなラベルにアライメントし,ネットワーク分割を行う。
  論文  参考訳（メタデータ） (2023-05-06T03:47:20Z)
• ResFormer: Scaling ViTs with Multi-Resolution Training [100.01406895070693]
  私たちはResFormerを紹介します。ResFormerは、広く、ほとんど目に見えない、テストの解像度でパフォーマンスを改善するフレームワークです。 特にResFormerは、異なる解像度の再現されたイメージを実行し、さまざまなスケールでインタラクティブな情報をエンゲージするスケール一貫性の損失を強制する。 さらに、ResFormerは柔軟性があり、セマンティックセグメンテーション、オブジェクト検出、ビデオアクション認識に容易に拡張できることを示す。
  論文  参考訳（メタデータ） (2022-12-01T18:57:20Z)
• Advancing Plain Vision Transformer Towards Remote Sensing Foundation Model [97.9548609175831]
  約1億のパラメータを持つプレーンビジョントランスフォーマーを利用して、リモートセンシングタスク用にカスタマイズされた大規模なビジョンモデルを提案する。 具体的には、RS画像における大きな画像サイズと様々な向きのオブジェクトを扱うために、回転する様々なウィンドウアテンションを提案する。 検出タスクの実験は、DOTA-V1.0データセット上で81.16%のmAPを達成したすべての最先端モデルよりも、我々のモデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-08T09:08:40Z)
• MAT: Mask-Aware Transformer for Large Hole Image Inpainting [79.67039090195527]
  本稿では, 変圧器と畳み込みの利点を統一する, 大穴塗装の新しいモデルを提案する。 実験では、複数のベンチマークデータセット上で、新しいモデルの最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-29T06:36:17Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• Plug-In Inversion: Model-Agnostic Inversion for Vision with Data Augmentations [61.95114821573875]
  単純な拡張セットに依存し、過剰なハイパーパラメータチューニングを必要としないPlug-In Inversionを導入する。 ImageNetデータセットでトレーニングされたビジョントランスフォーマー(ViT)とマルチ層パーセプトロン(MLP)を反転させることにより,我々のアプローチの実用性を説明する。
  論文  参考訳（メタデータ） (2022-01-31T02:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。