論文の概要: Is an Image Also Worth 16x16=256 Superpixels? A Framework for Attentional Image Classification

• arxiv url: http://arxiv.org/abs/2605.27144v1
• Date: Tue, 26 May 2026 15:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.364539
• Title: Is an Image Also Worth 16x16=256 Superpixels? A Framework for Attentional Image Classification
• Title（参考訳）: 画像も16x16=256のスーパーピクセルに価値があるか? 注意的イメージ分類のためのフレームワーク
• Authors: Pedro Henrique da Costa Avelar, Anderson R. Tavares, Luís C. Lamb,
• Abstract要約: スーパーピクセルベースの画像分類と視覚変換を統一する新しいフレームワークであるSuperpixel Transformers (SPT)を提案する。 SPTは、任意のスーパーピクセルベースのチャンキング戦略、接続グラフ、位置エンコーディングをサポートするために、グラフ注意ネットワーク(SICGAT)モデルとViTでスーパーピクセル画像分類を一般化する。 我々は,SPTが従来のスーパーピクセルベースGNN法に比べて優れた性能を示し,ViTと競合し続けていることを示す。
• 参考スコア（独自算出の注目度）: 0.11470070927586014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Superpixel-based image classification has traditionally leveraged graph neural networks (GNNs) for processing irregular image representations. Recent advances in computer vision, driven by Vision Transformers (ViTs), have introduced new paradigms in self-attentional models, surpassing convolutional neural networks (CNNs) in various tasks. However, a synergistic connection between GNNs, superpixels, and transformers remains unexplored. In this work, we propose Superpixel Transformers (SPT), a novel framework that unifies superpixel-based image classification and ViTs. SPT generalizes the Superpixel Image Classification with Graph Attention Networks (SICGAT) model and ViT to support arbitrary superpixel-based chunking strategies, connectivity graphs, and positional encodings. We introduce refinements including a multidimensional sine-cosine positional encoding and an enriched patch data structure that fully incorporates superpixel shape and color information. By testing SPT across datasets such as CIFAR10, FashionMNIST, and Imagenette, with various superpixel generation and graph connectivity strategies, we demonstrate that SPT achieves superior performance compared to previous superpixel-based GNN methods and remains competitive with ViTs. Notably, our approach addresses the limitations of SICGAT, such as information loss during pixel aggregation, and shows how constrained graph connectivity can enhance ViT performance. SPT bridges the gap between superpixel-based and transformer models, opening avenues for cross-domain generalization and future innovations in hybrid attentional frameworks, and showing that an image can also be worth $16\times16$ superpixels.
• Abstract（参考訳）: スーパーピクセルベースの画像分類は、伝統的に不規則な画像表現を処理するためにグラフニューラルネットワーク(GNN)を活用してきた。 ビジョントランスフォーマー(ViT)によって駆動されるコンピュータビジョンの最近の進歩は、様々なタスクにおいて畳み込みニューラルネットワーク(CNN)を超越した、自己意識モデルにおける新しいパラダイムを導入している。 しかし、GNN、スーパーピクセル、トランスフォーマー間の相乗的接続は未解明のままである。 本研究では,スーパーピクセルベースの画像分類とViTを統一する新しいフレームワークであるSuperpixel Transformers (SPT)を提案する。 SPTは、任意のスーパーピクセルベースのチャンキング戦略、接続グラフ、位置エンコーディングをサポートするために、グラフ注意ネットワーク(SICGAT)モデルとViTでスーパーピクセル画像分類を一般化する。 我々は,多次元の正弦波位置符号化と,超画素形状と色情報を完全に組み込んだリッチパッチデータ構造を含む精細化を導入する。 CIFAR10, FashionMNIST, Imagenetteなどのデータセット間のSPTを様々なスーパーピクセル生成およびグラフ接続戦略でテストすることにより、SPTが従来のスーパーピクセルベースのGNN手法よりも優れた性能を示し、VTと競合し続けていることを示す。 特に,画素集約時の情報損失などのSICGATの限界に対処し,制約付きグラフ接続によりViT性能が向上することを示す。 SPTは、スーパーピクセルベースのモデルとトランスフォーマーモデルのギャップを埋め、ハイブリッド注目フレームワークにおけるクロスドメインの一般化と将来のイノベーションのための道を開き、画像が16\times16$スーパーピクセルの価値も示している。

関連論文リスト

• Square Superpixel Generation and Representation Learning via Granular Ball Computing [97.99956628286243]
  スーパーピクセルは、オブジェクト境界と局所構造を保存する、コンパクトな領域ベースの表現を提供する。 既存のスーパーピクセルアルゴリズムの多くは不規則な形状の領域を生成しており、畳み込みのような通常の演算子とうまく一致しない。 グラニュラル・ボール・コンピューティングの適応表現とカバレッジ特性に動機付けられて,正方形スーパーピクセル・ジェネレーション・アプローチを開発した。
  論文  参考訳（メタデータ） (2026-03-31T09:06:58Z)
• SAG-ViT: A Scale-Aware, High-Fidelity Patching Approach with Graph Attention for Vision Transformers [0.0]
  ビジョントランスフォーマー(ViT)は、イメージパッチ間の複雑なパターンと長距離依存関係をキャプチャするために自己アテンションを活用することで、イメージ分類を再定義している。 ViTsの重要な課題は、階層構造を通じて畳み込みニューラルネットワーク(CNN)に固有のマルチスケールの特徴表現を効率的に組み込むことである。 我々は、CNNのマルチスケール機能、ViTの表現力、グラフ付きパッチ機能を統合し、よりリッチなコンテキスト表現を可能にするスケールアウェアグラフ注意型ViTであるSAG-ViTを提案する。
  論文  参考訳（メタデータ） (2024-11-14T13:15:27Z)
• T-former: An Efficient Transformer for Image Inpainting [50.43302925662507]
  トランスフォーマーと呼ばれる注目に基づくネットワークアーキテクチャのクラスは、自然言語処理の分野で大きなパフォーマンスを示している。 本稿では,Taylorの展開に応じて,解像度に線形に関連付けられた新たな注意を設計し,この注意に基づいて,画像インペイントのためのネットワークである$T$-formerを設計する。 いくつかのベンチマークデータセットの実験により,提案手法は比較的少ないパラメータ数と計算複雑性を維持しつつ,最先端の精度を達成できることが示されている。
  論文  参考訳（メタデータ） (2023-05-12T04:10:42Z)
• Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
  畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。 トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。 我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-18T18:59:10Z)
• Superpixel-based Domain-Knowledge Infusion in Computer Vision [0.7349727826230862]
  スーパーピクセルは画像中の高次の知覚的ピクセル群であり、しばしば生のピクセルよりもはるかに多くの情報を運ぶ。 画像の異なるスーパーピクセル間の関係に固有の関係構造が存在する。 この関係情報は、猫画像中の2つの目を表すスーパーピクセル間の関係など、画像に関するある種のドメイン情報を伝達することができる。
  論文  参考訳（メタデータ） (2021-05-20T01:25:42Z)
• Implicit Integration of Superpixel Segmentation into Fully Convolutional Networks [11.696069523681178]
  スーパーピクセル方式をCNNに暗黙的に統合する方法を提案する。 提案手法では,下地層に画素を階層的にグループ化し,スーパーピクセルを生成する。 本手法は,セマンティックセグメンテーション,スーパーピクセルセグメンテーション,モノクル深度推定などのタスクで評価する。
  論文  参考訳（メタデータ） (2021-03-05T02:20:26Z)
• An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale [112.94212299087653]
  ビジョントランスフォーマー(ViT)は、最先端の畳み込みネットワークと比較して優れた結果を得ると同時に、トレーニングする計算リソースを著しく少なくする。
  論文  参考訳（メタデータ） (2020-10-22T17:55:59Z)
• Visual Transformers: Token-based Image Representation and Processing for Computer Vision [67.55770209540306]
  Visual Transformer (VT) はセマンティックトークン空間で動作し、コンテキストに基づいて異なる画像部品に任意に参加する。 高度なトレーニングレシピを使うことで、私たちのVTは畳み込みよりも大幅に優れています。 LIPとCOCO-stuffのセマンティックセグメンテーションでは、VTベースの特徴ピラミッドネットワーク(FPN)は、FPNモジュールのFLOPを6.5倍減らしながら、mIoUの0.35ポイントを達成している。
  論文  参考訳（メタデータ） (2020-06-05T20:49:49Z)
• Superpixel Segmentation with Fully Convolutional Networks [32.878045921919714]
  本稿では,通常の画像グリッド上でのスーパーピクセルの予測に完全畳み込みネットワークを用いる新しい手法を提案する。 ベンチマーク・データセットによる実験結果から,提案手法は最先端のスーパーピクセル・セグメンテーション性能を実現することが示された。 ステレオマッチングのための人気のあるネットワークアーキテクチャを改良し、スーパーピクセルと格差を同時に予測する。
  論文  参考訳（メタデータ） (2020-03-29T02:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。