論文の概要: Boosting vision transformers for image retrieval

• arxiv url: http://arxiv.org/abs/2210.11909v1
• Date: Fri, 21 Oct 2022 12:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-10-24 14:17:20.572396
• Title: Boosting vision transformers for image retrieval
• Title（参考訳）: 画像検索のための強調視覚変換器
• Authors: Chull Hwan Song, Jooyoung Yoon, Shunghyun Choi and Yannis Avrithis
• Abstract要約: 視覚変換器は画像分類や検出などの視覚タスクにおいて顕著な進歩を遂げている。 しかし、インスタンスレベルの画像検索では、変換器は畳み込みネットワークと比較してまだ良い性能を示していない。 本稿では,トランスフォーマーがアートの状態を初めて上回るような改良をいくつか提案する。
• 参考スコア（独自算出の注目度）: 11.441395750267052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision transformers have achieved remarkable progress in vision tasks such as image classification and detection. However, in instance-level image retrieval, transformers have not yet shown good performance compared to convolutional networks. We propose a number of improvements that make transformers outperform the state of the art for the first time. (1) We show that a hybrid architecture is more effective than plain transformers, by a large margin. (2) We introduce two branches collecting global (classification token) and local (patch tokens) information, from which we form a global image representation. (3) In each branch, we collect multi-layer features from the transformer encoder, corresponding to skip connections across distant layers. (4) We enhance locality of interactions at the deeper layers of the encoder, which is the relative weakness of vision transformers. We train our model on all commonly used training sets and, for the first time, we make fair comparisons separately per training set. In all cases, we outperform previous models based on global representation. Public code is available at https://github.com/dealicious-inc/DToP.
• Abstract（参考訳）: 視覚トランスフォーマーは、画像分類や検出などの視覚タスクにおいて著しく進歩した。 しかし、インスタンスレベルの画像検索では、畳み込みネットワークに比べてトランスフォーマーのパフォーマンスが良くない。 本稿では,トランスフォーマーがアートの状態を初めて上回るような改良をいくつか提案する。 1) ハイブリッドアーキテクチャは, 普通の変圧器よりも大きなマージンで効果的であることを示す。 2)グローバルな(分類トークン)とローカルな(パッチトークン)情報を収集する2つのブランチを導入し,そこからグローバルなイメージ表現を形成する。 (3) 各分岐において, トランスエンコーダから複数層の特徴を収集し, 遠隔層間の接続をスキップする。 (4) 視覚変換器の相対的弱みであるエンコーダの深い層における相互作用の局所性を高める。 私たちは、一般的なトレーニングセットすべてでモデルをトレーニングし、トレーニングセットごとに個別に公正な比較を初めて行います。 いずれの場合も、グローバル表現に基づく過去のモデルよりも優れています。 公開コードはhttps://github.com/dealicious-inc/dtopで入手できる。

関連論文リスト

• Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles [65.54857068975068]
  本稿では、この追加のバルクは不要であると論じる。 強いビジュアル・プレテキスト・タスク(MAE)で事前トレーニングを行うことで、最先端の多段階視覚変換器から全てのベル・アンド・ウィストルを除去することができる。 Hieraは、非常に単純な階層型視覚変換器で、従来のモデルよりも正確です。
  論文  参考訳（メタデータ） (2023-06-01T17:59:58Z)
• On the Surprising Effectiveness of Transformers in Low-Labeled Video Recognition [18.557920268145818]
  ビデオビジョントランスフォーマーは、複数の視覚タスクにまたがる畳み込みベースの手法(CNN)と競合することが示されている。 我々の研究は、ビデオ分類の低データ体制を実証的に探求し、驚くべきことに、低ラベルの動画設定においてトランスフォーマーが極めてよく機能することを発見した。 ラベル付きデータのみを用いて、トランスフォーマーは大規模未ラベルデータも活用する複雑な半教師付きCNN法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2022-09-15T17:12:30Z)
• TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer [188.00681648113223]
  視覚的なグラウンド化のための、巧妙で効果的なTransformerベースのフレームワークについて検討する。 TransVGはトランスフォーマーによるマルチモーダル対応を確立し、ボックス座標を直接回帰することで参照領域をローカライズする。 視覚特徴符号化にViT(Vision Transformer)を活用することで、我々のフレームワークを純粋にトランスフォーマーベースにアップグレードする。
  論文  参考訳（メタデータ） (2022-06-14T06:27:38Z)
• HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling [126.89573619301953]
  我々はHiViT(Hierarchical ViT)という階層型視覚変換器の新しい設計を提案する。 HiViTはMIMで高い効率と優れたパフォーマンスを享受する。 ImageNet-1K上でMAEを実行する場合、HiViT-BはViT-Bよりも0.6%精度が向上し、Swin-Bよりも1.9$times$スピードアップしたと報告している。
  論文  参考訳（メタデータ） (2022-05-30T09:34:44Z)
• Semi-Supervised Vision Transformers [76.83020291497895]
  半教師付き画像分類のための視覚変換器の訓練について検討する。 半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。 CNNは小さなラベル付きデータ構造において優れた結果を得る。
  論文  参考訳（メタデータ） (2021-11-22T09:28:13Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)
• Going deeper with Image Transformers [102.61950708108022]
  我々は画像分類のためのより深いトランスフォーマーネットワークを構築し最適化する。 深部変圧器の精度を大幅に向上する2つの変圧器アーキテクチャ変更を行う。 私たちの最高のモデルは、再評価ラベルとImagenet-V2 /マッチ周波数を備えたImagenetの新しい状態を確立します。
  論文  参考訳（メタデータ） (2021-03-31T17:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。