論文の概要: Vision Transformers Need Registers

• arxiv url: http://arxiv.org/abs/2309.16588v1
• Date: Thu, 28 Sep 2023 16:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-29 13:28:19.907161
• Title: Vision Transformers Need Registers
• Title（参考訳）: 視覚トランスフォーマーにはレジスタが必要です
• Authors: Timoth\'ee Darcet, Maxime Oquab, Julien Mairal and Piotr Bojanowski
• Abstract要約: 教師付きと自己監督型の両方のViTネットワークの特徴マップのアーティファクトを特定し,特徴付けする。 このソリューションは、教師付きモデルと自己教師型モデルの両方で完全にその問題を解決する。
• 参考スコア（独自算出の注目度）: 29.101326748624665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have recently emerged as a powerful tool for learning visual representations. In this paper, we identify and characterize artifacts in feature maps of both supervised and self-supervised ViT networks. The artifacts correspond to high-norm tokens appearing during inference primarily in low-informative background areas of images, that are repurposed for internal computations. We propose a simple yet effective solution based on providing additional tokens to the input sequence of the Vision Transformer to fill that role. We show that this solution fixes that problem entirely for both supervised and self-supervised models, sets a new state of the art for self-supervised visual models on dense visual prediction tasks, enables object discovery methods with larger models, and most importantly leads to smoother feature maps and attention maps for downstream visual processing.
• Abstract（参考訳）: トランスフォーマーは最近、視覚的表現を学ぶ強力なツールとして登場した。 本稿では,教師付きと自己監督型の両方のViTネットワークの特徴マップのアーティファクトを特定し,特徴付けする。 これらのアーティファクトは、主に画像の低次背景領域に推論中に出現するハイノームトークンに対応し、内部計算に再利用される。 そこで我々は,視覚変換器の入力シーケンスにトークンを付加して,その役割を果たす,シンプルで効果的な解を提案する。 本稿では, 教師付きモデルと自己教師付きモデルの両方において, この問題を完全に解決し, 濃密な視覚予測タスク上での自己教師付き視覚モデルのための新しい技術状況を設定し, より大きなモデルによるオブジェクト発見を可能にするとともに, よりスムーズな特徴マップと下流視覚処理のための注意マップを実現する。

関連論文リスト

• Learning Visual Prompts for Guiding the Attention of Vision Transformers [29.023448448047805]
  本研究は、視覚変換器の注意を導くための視覚的プロンプトを学習することを提案する。 入力画像に追加される学習された視覚的プロンプトは、事前訓練された視覚変換器の注意を画像上の空間的位置にリダイレクトする。
  論文  参考訳（メタデータ） (2024-06-05T14:13:38Z)
• Analyzing Local Representations of Self-supervised Vision Transformers [34.56680159632432]
  各種自己監督型視覚変換器(ViT)の比較分析を行った。 大規模言語モデルに触発されて、微調整をほとんど行わずに様々なコンピュータビジョンタスクを実行するViTの能力について検討する。
  論文  参考訳（メタデータ） (2023-12-31T11:38:50Z)
• Attention Deficit is Ordered! Fooling Deformable Vision Transformers with Collaborative Adversarial Patches [3.4673556247932225]
  変形可能な視覚変換器は、注意モデリングの複雑さを著しく低減する。 最近の研究は、従来の視覚変換器に対する敵攻撃を実証している。 我々は,対象のパッチに注意を向けるようにソースパッチが操作する新たなコラボレーティブアタックを開発する。
  論文  参考訳（メタデータ） (2023-11-21T17:55:46Z)
• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• AttentionViz: A Global View of Transformer Attention [60.82904477362676]
  本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。 提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。 このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
  論文  参考訳（メタデータ） (2023-05-04T23:46:49Z)
• Learning Explicit Object-Centric Representations with Vision Transformers [81.38804205212425]
  我々は、マスク付き自動符号化の自己超越タスクを構築し、トランスフォーマーを用いたオブジェクト中心表現学習の有効性を探求する。 複数のマルチオブジェクト・ベンチマークのセグメンテーション・メトリクスによって測定された単純なシーンを効率的に分解できることを示す。
  論文  参考訳（メタデータ） (2022-10-25T16:39:49Z)
• Optimizing Relevance Maps of Vision Transformers Improves Robustness [91.61353418331244]
  視覚的分類モデルは、しばしば画像背景に依存し、前景を無視し、分布の変化に対する頑丈さを損なうことが観察されている。 本稿では,モデルが前景オブジェクトに注目するように,モデルの関連性信号を監視して操作することを提案する。 これは、画像とそれに関連する前景マスクからなる比較的少数のサンプルを含む、微調整のステップとして行われる。
  論文  参考訳（メタデータ） (2022-06-02T17:24:48Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• Efficient Self-supervised Vision Transformers for Representation Learning [86.57557009109411]
  疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。 そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。 この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
  論文  参考訳（メタデータ） (2021-06-17T19:57:33Z)
• VinVL: Revisiting Visual Representations in Vision-Language Models [96.39332942534368]
  画像のオブジェクト中心表現を提供するための改良されたオブジェクト検出モデルを開発した。 新しい視覚機能は、すべての視覚言語(VL)タスクのパフォーマンスを大幅に改善する。 新しいオブジェクト検出モデルを公開します。
  論文  参考訳（メタデータ） (2021-01-02T23:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。