論文の概要: Superpixel Tokenization for Vision Transformers: Preserving Semantic Integrity in Visual Tokens

• arxiv url: http://arxiv.org/abs/2412.04680v1
• Date: Fri, 06 Dec 2024 00:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:19.132496
• Title: Superpixel Tokenization for Vision Transformers: Preserving Semantic Integrity in Visual Tokens
• Title（参考訳）: 視覚変換器の超画素トークン化:視覚トークンにおける意味的積分性を保存する
• Authors: Jaihyun Lew, Soohyuk Jang, Jaehoon Lee, Seungryong Yoo, Eunji Kim, Saehyung Lee, Jisoo Mok, Siwon Kim, Sungroh Yoon,
• Abstract要約: 我々は、Vision Transformerのグリッドベースのトークン化をスーパーピクセルトークン化に置き換えることを提案する。 既存のフレームワークとの強い互換性を示すアプローチは、様々な下流タスクにおけるViTの精度と堅牢性を高める。
• 参考スコア（独自算出の注目度）: 38.31045722878938
• License:
• Abstract: Transformers, a groundbreaking architecture proposed for Natural Language Processing (NLP), have also achieved remarkable success in Computer Vision. A cornerstone of their success lies in the attention mechanism, which models relationships among tokens. While the tokenization process in NLP inherently ensures that a single token does not contain multiple semantics, the tokenization of Vision Transformer (ViT) utilizes tokens from uniformly partitioned square image patches, which may result in an arbitrary mixing of visual concepts in a token. In this work, we propose to substitute the grid-based tokenization in ViT with superpixel tokenization, which employs superpixels to generate a token that encapsulates a sole visual concept. Unfortunately, the diverse shapes, sizes, and locations of superpixels make integrating superpixels into ViT tokenization rather challenging. Our tokenization pipeline, comprised of pre-aggregate extraction and superpixel-aware aggregation, overcomes the challenges that arise in superpixel tokenization. Extensive experiments demonstrate that our approach, which exhibits strong compatibility with existing frameworks, enhances the accuracy and robustness of ViT on various downstream tasks.
• Abstract（参考訳）: 自然言語処理(NLP)のために提案された画期的なアーキテクチャであるTransformersも、コンピュータビジョンにおいて大きな成功を収めている。 彼らの成功の基盤は、トークン間の関係をモデル化する注意機構にある。 NLPにおけるトークン化プロセスは、単一のトークンが複数の意味論を含まないことを本質的に保証するが、ViT(Vision Transformer)のトークン化は、均一に分割された正方形イメージパッチからのトークンを利用するため、トークン内の視覚概念を任意に混合する可能性がある。 そこで本研究では,VETにおけるグリッドベースのトークン化をスーパーピクセルトークン化に置き換えることを提案する。 残念ながら、スーパーピクセルの形状、サイズ、位置の多様さは、スーパーピクセルをViTトークン化に組み込むことをかなり困難にしている。 我々のトークン化パイプラインは、事前集約抽出とスーパーピクセル認識アグリゲーションで構成されており、スーパーピクセルトークン化で生じる課題を克服している。 大規模な実験により,既存のフレームワークとの強い互換性を示すアプローチが,様々な下流タスクにおけるViTの精度と堅牢性を高めることが実証された。

関連論文リスト

• A Spitting Image: Modular Superpixel Tokenization in Vision Transformers [0.0]
  Vision Transformer (ViT) アーキテクチャは伝統的に、画像の意味的内容に依存しないトークン化のためのグリッドベースのアプローチを採用している。 本稿では,トークン化と特徴抽出を分離するモジュール型スーパーピクセルトークン化戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-14T17:28:58Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Long-Range Grouping Transformer for Multi-View 3D Reconstruction [9.2709012704338]
  配当原理に基づくLGA(Long-range Grouping attention)を提案する。 ビュー間特徴を接続する効率的かつ効率的なエンコーダを確立することができる。 プログレッシブ・アップサンプリング・デコーダは比較的高解像度のボクセル生成のために設計された。
  論文  参考訳（メタデータ） (2023-08-17T01:34:59Z)
• Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning [28.180891300826165]
  大規模視覚変換器におけるトークンの総数を削減するために、多くの先進的なアプローチが開発されている。 2つの非パラメトリック演算子、トークン数を減らすトークンクラスタリング層、トークン数を増やすトークン再構成層を提供する。 その結果、オブジェクト検出、セマンティックセグメンテーション、パノスコープセグメンテーション、インスタンスセグメンテーション、深さ推定を含む5つの密集した予測タスクが期待できる。
  論文  参考訳（メタデータ） (2022-10-03T15:49:48Z)
• Not All Tokens Are Equal: Human-centric Visual Analysis via Token Clustering Transformer [91.49837514935051]
  我々はToken Clustering Transformer(TCFormer)と呼ばれる新しいビジョントランスを提案する。 TCTCerはトークンをプログレッシブクラスタリングによってマージし、トークンはフレキシブルな形状とサイズで異なる場所からマージすることができる。 実験によると、TCFormerは人間中心のさまざまなタスクやデータセットにおいて、一貫してその能力を上回っている。
  論文  参考訳（メタデータ） (2022-04-19T05:38:16Z)
• Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers [51.581926074686535]
  本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。 提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-11-05T12:57:50Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• Visual Transformers: Token-based Image Representation and Processing for Computer Vision [67.55770209540306]
  Visual Transformer (VT) はセマンティックトークン空間で動作し、コンテキストに基づいて異なる画像部品に任意に参加する。 高度なトレーニングレシピを使うことで、私たちのVTは畳み込みよりも大幅に優れています。 LIPとCOCO-stuffのセマンティックセグメンテーションでは、VTベースの特徴ピラミッドネットワーク(FPN)は、FPNモジュールのFLOPを6.5倍減らしながら、mIoUの0.35ポイントを達成している。
  論文  参考訳（メタデータ） (2020-06-05T20:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。