論文の概要: SAG-ViT: A Scale-Aware, High-Fidelity Patching Approach with Graph Attention for Vision Transformers

• arxiv url: http://arxiv.org/abs/2411.09420v2
• Date: Tue, 10 Dec 2024 03:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:00.054623
• Title: SAG-ViT: A Scale-Aware, High-Fidelity Patching Approach with Graph Attention for Vision Transformers
• Title（参考訳）: SAG-ViT:視覚変換器用グラフアテンションを用いた大規模高忠実パッチ手法
• Authors: Shravan Venkatraman, Jaskaran Singh Walia, Joe Dhanith P R,
• Abstract要約: 視覚変換器(ViT)は、複雑なパターンと画像パッチ間の長距離関係をキャプチャすることで、画像分類を改善する。 ViTsの重要な課題は、その階層構造を通じてCNNに固有のマルチスケールな特徴表現を効率的に組み込むことである。 マルチスケール機能を統合することでこの問題に対処する新しいフレームワークであるSAG-ViT(Scale-Aware Graph Attention Vision Transformer)を紹介した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Image classification is a computer vision task where a model analyzes an image to categorize it into a specific label. Vision Transformers (ViT) improve this task by leveraging self-attention to capture complex patterns and long range relationships between image patches. However, a key challenge for ViTs is efficiently incorporating multiscale feature representations, which is inherent in CNNs through their hierarchical structure. In this paper, we introduce the Scale-Aware Graph Attention Vision Transformer (SAG-ViT), a novel framework that addresses this challenge by integrating multi-scale features. Using EfficientNet as a backbone, the model extracts multi-scale feature maps, which are divided into patches to preserve semantic information. These patches are organized into a graph based on spatial and feature similarities, with a Graph Attention Network (GAT) refining the node embeddings. Finally, a Transformer encoder captures long-range dependencies and complex interactions. The SAG-ViT is evaluated on benchmark datasets, demonstrating its effectiveness in enhancing image classification performance. Our code and weights are publicly available at https://github.com/shravan-18/SAG-ViT
• Abstract（参考訳）: 画像分類とは、モデルが画像を分析して特定のラベルに分類するコンピュータビジョンタスクである。 視覚変換器(ViT)は、自己注意を利用して複雑なパターンと画像パッチ間の長い範囲の関係をキャプチャする。 しかし、ViTsの重要な課題は、その階層構造を通じてCNNに固有のマルチスケール特徴表現を効率的に組み込むことである。 本稿では、マルチスケール機能を統合することでこの問題に対処する新しいフレームワークであるSAG-ViT(Scale-Aware Graph Attention Vision Transformer)を紹介する。 EfficientNetをバックボーンとして使用し、マルチスケールの特徴マップを抽出し、セマンティック情報を保存するためにパッチに分割する。 これらのパッチは、空間的および特徴的類似性に基づいてグラフに整理され、グラフ注意ネットワーク(GAT)がノードの埋め込みを洗練する。 最後に、Transformerエンコーダは、長距離の依存関係と複雑なインタラクションをキャプチャする。 SAG-ViTは、ベンチマークデータセットに基づいて評価され、画像分類性能を向上させる効果を示す。 私たちのコードと重みはhttps://github.com/shravan-18/SAG-ViTで公開されています。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• GvT: A Graph-based Vision Transformer with Talking-Heads Utilizing Sparsity, Trained from Scratch on Small Datasets [1.1586742546971471]
  グラフ畳み込みプロジェクションとグラフプーリングを利用するグラフベースビジョントランス (GvT) を提案する。 GvTは、大規模なデータセットを事前トレーニングすることなく、深層畳み込みネットワークに匹敵する、あるいは優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-07T11:48:07Z)
• GKGNet: Group K-Nearest Neighbor based Graph Convolutional Network for Multi-Label Image Recognition [37.02054260449195]
  マルチラベル画像認識(Multi-Label Image Recognition, MLIR)は、1つの画像で複数のオブジェクトラベルを予測することを目的とした課題である。 我々は、最初の完全グラフ畳み込みモデル、グループK-アネレスト近傍グラフ畳み込みネットワーク(GKGNet)を提示する。 実験により,GKGNetは計算コストを大幅に削減し,最先端の性能を実現することを示した。
  論文  参考訳（メタデータ） (2023-08-28T07:50:04Z)
• Accurate Image Restoration with Attention Retractable Transformer [50.05204240159985]
  画像復元のためのアテンション・リトラクタブル・トランス (ART) を提案する。 ARTはネットワーク内の密集モジュールと疎開モジュールの両方を提示する。 画像超解像、デノナイジング、JPEG圧縮アーティファクト削減タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-10-04T07:35:01Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Graph Reasoning Transformer for Image Parsing [67.76633142645284]
  本稿では,画像解析のためのグラフ推論変換器(GReaT)を提案する。 従来の変圧器と比較して、GReaTは高い相互作用効率とより目的のある相互作用パターンを有する。 その結果、GReaTは、最先端のトランスフォーマーベースラインにわずかに計算オーバーヘッドを伴って、一貫した性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-09-20T08:21:37Z)
• Vision GNN: An Image is Worth Graph of Nodes [49.3335689216822]
  本稿では,画像をグラフ構造として表現し,視覚タスクのためのグラフレベルの特徴を抽出するビジョンGNN(ViG)アーキテクチャを提案する。 画像のグラフ表現に基づいて、すべてのノード間で情報を変換、交換するViGモデルを構築します。 画像認識および物体検出タスクに関する大規模な実験は、我々のViGアーキテクチャの優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-01T07:01:04Z)
• Scalable Visual Transformers with Hierarchical Pooling [61.05787583247392]
  本稿では,視覚的トークンを徐々にプールしてシーケンス長を縮小する階層的ビジュアルトランスフォーマ(hvt)を提案する。 計算の複雑さを増すことなく、深さ/幅/解像度/パッチサイズの寸法をスケールすることで、大きなメリットをもたらします。 当社のHVTはImageNetとCIFAR-100データセットの競合ベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-03-19T03:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。