論文の概要: Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning

• arxiv url: http://arxiv.org/abs/2606.14753v1
• Date: Sun, 07 Jun 2026 16:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.040258
• Title: Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning
• Title（参考訳）: 自己注意を超える:高速な画像キャプションのためのサブ量子ビジョン変換器
• Authors: Chiradeep Ghosh, Dakshina Ranjan Kisku,
• Abstract要約: 提案モデルは,ビジョントランスアーキテクチャの再構築による計算効率の向上に重点を置いている。 このモデルはFlickr 30Kデータセットで評価され、既存の作品に対する競争力と大幅な改善が示されている。
• 参考スコア（独自算出の注目度）: 2.33474141211381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image captioning is a challenging and significant task that aims to generate coherent and semantically meaningful textual descriptions for given images. To accomplish this task, it requires a deep understanding of visual content along with the ability to express that understanding in natural language. Despite remarkable progress with transformer-based architectures, existing approaches often suffer from limitations, such as a lack of rich local feature representations and the high computational cost of quadratic self-attention. The proposed model focuses on improving computational efficiency by restructuring the vision transformer architecture. In designing this approach, the standard self-attention mechanism in Vision Transformers is replaced with a probabilistic transformer approach based on a Gaussian Mixture Model (GMM), a soft-clustering technique. Instead of computing pairwise attention among all image patches, the model groups similar patches into a fixed number of clusters using an Expectation-Maximization (EM) algorithm. This clustering-based mechanism reduces the computational complexity from quadratic O(n^2) to linear O(nK), where K << n. The autoregressive GPT-based decoder is used for caption generation. The model is evaluated on the Flickr 30K dataset, demonstrating competitive and significant improvement over existing works.
• Abstract（参考訳）: 画像キャプションは、与えられた画像に対して一貫性があり意味のあるテキスト記述を生成することを目的とした、困難で重要なタスクである。 この課題を達成するためには、視覚内容の深い理解と、その理解を自然言語で表現する能力が必要である。 トランスフォーマーベースのアーキテクチャによる顕著な進歩にもかかわらず、既存のアプローチは、リッチな局所的特徴表現の欠如や二次的自己注意の計算コストの高騰など、しばしば制限に悩まされる。 提案モデルは,ビジョントランスアーキテクチャの再構築による計算効率の向上に重点を置いている。 このアプローチの設計において、視覚変換器の標準的な自己注意機構は、ソフトクラスタリング技術であるガウス混合モデル(GMM)に基づく確率変換器アプローチに置き換えられる。 すべてのイメージパッチにペアで注目する代わりに、モデルが類似のパッチを期待最大化(EM)アルゴリズムを用いて固定数のクラスタにグループ化する。 このクラスタリングに基づく機構は、計算複雑性を二次 O(n^2) から線型 O(nK) に還元する。 自動回帰GPTベースのデコーダはキャプション生成に使用される。 このモデルはFlickr 30Kデータセットで評価され、既存の作品に対する競争力と大幅な改善が示されている。

関連論文リスト

• SFTok: Bridging the Performance Gap in Discrete Tokenizers [72.9996757048065]
  複数ステップの反復機構を組み込んだ離散トークン化機構である textbfSFTok を提案する。 画像当たり64トークンの高速圧縮速度で、SFTokはImageNetの最先端の再構築品質を達成する。
  論文  参考訳（メタデータ） (2025-12-18T18:59:04Z)
• Contrast: A Hybrid Architecture of Transformers and State Space Models for Low-Level Vision [3.574664325523221]
  textbfContrastは、textbfConvolutional、textbfTransformer、textbfState Spaceコンポーネントを組み合わせたハイブリッドSRモデルである。 変換器と状態空間機構を統合することで、textbfContrastは各アプローチの欠点を補償し、グローバルコンテキストモデリングとピクセルレベルの精度を向上させる。
  論文  参考訳（メタデータ） (2025-01-23T03:34:14Z)
• A Spitting Image: Modular Superpixel Tokenization in Vision Transformers [0.0]
  Vision Transformer (ViT) アーキテクチャは伝統的に、画像の意味的内容に依存しないトークン化のためのグリッドベースのアプローチを採用している。 本稿では,トークン化と特徴抽出を分離するモジュール型スーパーピクセルトークン化戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-14T17:28:58Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Learning A Sparse Transformer Network for Effective Image Deraining [42.01684644627124]
  有効デレインネットワークであるスパーストランス(DRSformer)を提案する。 学習可能なトップk選択演算子を開発し、各クエリのキーから最も重要な注意点を適応的に保持し、より優れた機能アグリゲーションを実現する。 我々は,協調改良デライン方式を示すために,専門家による特徴補償器を混合したモデルを開発した。
  論文  参考訳（メタデータ） (2023-03-21T15:41:57Z)
• ClusTR: Exploring Efficient Self-attention via Clustering for Vision Transformers [70.76313507550684]
  本稿では,密集自己注意の代替として,コンテンツに基づくスパースアテンション手法を提案する。 具体的には、合計トークン数を減少させるコンテンツベースの方法として、キーとバリュートークンをクラスタ化し、集約する。 結果として得られたクラスタ化されたTokenシーケンスは、元の信号のセマンティックな多様性を保持するが、より少ない計算コストで処理できる。
  論文  参考訳（メタデータ） (2022-08-28T04:18:27Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。