論文の概要: Beyond Grids: Exploring Elastic Input Sampling for Vision Transformers

• arxiv url: http://arxiv.org/abs/2309.13353v1
• Date: Sat, 23 Sep 2023 12:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 20:21:48.913579
• Title: Beyond Grids: Exploring Elastic Input Sampling for Vision Transformers
• Title（参考訳）: Beyond Grids: ビジョントランスフォーマーのためのElastic Input Smplingの探索
• Authors: Adam Pardyl, Grzegorz Kurzejamski, Jan Olszewski, Tomasz Trzci\'nski, Bartosz Zieli\'nski
• Abstract要約: 視覚変換器は様々なコンピュータビジョンタスクに優れてきたが、主にパッチの固定サイズのグリッドを使った厳密な入力サンプリングに依存している。 これにより、ロボット工学やUAVといった現実世界の問題への適用性が制限される。 本稿では、視覚変換器の入力弾性の概念を定式化し、評価プロトコルを導入することにより、この制限に対処する。
• 参考スコア（独自算出の注目度）: 12.910265957024517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformers have excelled in various computer vision tasks but mostly rely on rigid input sampling using a fixed-size grid of patches. This limits their applicability in real-world problems, such as in the field of robotics and UAVs, where one can utilize higher input elasticity to boost model performance and efficiency. Our paper addresses this limitation by formalizing the concept of input elasticity for vision transformers and introducing an evaluation protocol, including dedicated metrics for measuring input elasticity. Moreover, we propose modifications to the transformer architecture and training regime, which increase its elasticity. Through extensive experimentation, we spotlight opportunities and challenges associated with input sampling strategies.
• Abstract（参考訳）: ビジョントランスフォーマーは様々なコンピュータビジョンタスクに優れているが、ほとんどは固定サイズのパッチグリッドを使用して厳格な入力サンプリングに依存している。 これにより、ロボット工学やUAVといった実世界の問題に適用性が制限され、より高い入力弾性を利用してモデルの性能と効率を向上させることができる。 本稿では、視覚トランスフォーマーの入力弾性の概念を定式化し、入力弾性を測定するための専用のメトリクスを含む評価プロトコルを導入することで、この制限に対処する。 さらに, トランスアーキテクチャやトレーニング体制の変更も提案し, 弾力性の向上を図っている。 広範な実験を通じて,入力サンプリング戦略に関連する機会と課題に注目する。

関連論文リスト

• Vision Transformer with Quadrangle Attention [76.35955924137986]
  窓面に基づく注意を一般的な四角形定式化に拡張する新しい四角形注意法(QA)を提案する。 提案手法では,既定のウィンドウを対象の四角形に変換するために,変換行列を予測し,エンドツーエンドで学習可能な四角形回帰モジュールを用いる。 QAをプレーンかつ階層的な視覚変換器に統合し、QFormerという名の新しいアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-03-27T11:13:50Z)
• Holistically Explainable Vision Transformers [136.27303006772294]
  本稿では,B-cos変換器を提案する。 具体的には、各モデルコンポーネント(多層パーセプトロン、注意層、トークン化モジュールなど)を動的線形に定式化する。 提案した設計をViT(Vision Transformers)に適用し,Bcos-ViTと呼ばれるモデルが高解釈可能であり,ベースラインのViTと競合することを示す。
  論文  参考訳（メタデータ） (2023-01-20T16:45:34Z)
• Dynamic Grained Encoder for Vision Transformers [150.02797954201424]
  本稿では,自然画像の空間的冗長性を生かした視覚変換器のスパースクエリを提案する。 本研究では,各空間領域に適切なクエリ数を適応的に割り当てる動的変換器を提案する。 我々のエンコーダにより、最先端のビジョン変換器は、画像分類において同等の性能を維持しながら、計算複雑性を40%から60%削減できる。
  論文  参考訳（メタデータ） (2023-01-10T07:55:29Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Vision Transformers for Action Recognition: A Survey [41.69370782177517]
  コンピュータビジョン問題を解決する強力なツールとして、ビジョントランスフォーマーが登場している。 最近の技術は、多数のビデオ関連タスクを解決するために、画像領域を超えたトランスフォーマーの有効性を証明している。 人間の行動認識は、広く応用されているため、研究コミュニティから特別に注目を集めている。
  論文  参考訳（メタデータ） (2022-09-13T02:57:05Z)
• Patch Similarity Aware Data-Free Quantization for Vision Transformers [2.954890575035673]
  Patch similarity Aware data-free Quantization framework for Vision Transformersを提案する。 本研究では,ガウス雑音と実画像の処理において,自己アテンションモジュールの特性を解析し,一般的な相違点(パッチ類似点)を明らかにする。 PSAQ-ViTの有効性を検証するため,様々なベンチマークで実験およびアブレーション実験を行った。
  論文  参考訳（メタデータ） (2022-03-04T11:47:20Z)
• Stochastic Layers in Vision Transformers [85.38733795180497]
  視覚変換器の完全な層を導入し,性能を著しく低下させることなく実現した。 この追加により、視覚機能の堅牢性が向上し、プライバシーが強化される。 私たちの機能は3つの異なるアプリケーション、すなわち、敵の堅牢性、ネットワークキャリブレーション、機能プライバシに使用しています。
  論文  参考訳（メタデータ） (2021-12-30T16:07:59Z)
• AdaViT: Adaptive Vision Transformers for Efficient Image Recognition [78.07924262215181]
  AdaViTは、パッチ、セルフアテンションヘッド、およびトランスフォーマーブロックを使用するための利用ポリシーを導出する適応フレームワークである。 本手法は,0.8%の精度で,最先端のビジョントランスに比べて2倍以上の効率向上を実現している。
  論文  参考訳（メタデータ） (2021-11-30T18:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。