論文の概要: What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

• arxiv url: http://arxiv.org/abs/2605.12021v1
• Date: Tue, 12 May 2026 12:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.844016
• Title: What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization
• Title（参考訳）: What-Where Transformer:コンカレント表現とローカライゼーションのためのスロット中心のビジュアルバックボーン
• Authors: Ryota Yoshihashi, Masahiro Kada, Satoshi Ikehata, Rei Kawakami, Ikuro Sato,
• Abstract要約: 我々は、モデルがオブジェクトの外観や空間的位置を分解的に表現することを奨励する「What-where separation」と呼ばれる帰納バイアスに焦点を当てた。 本手法では,トークンを何の表現として扱うか,注目マップを場所の表現として扱うとともに,マルチストリームのスロットベースアーキテクチャを用いて並列フィードフォワードモジュールで処理する。 我々は,標準の単一ラベル分類に基づくImageNetの監督下であっても,生の注目マップから直接,創発的な複数物体発見を示すことを示した。
• 参考スコア（独自算出の注目度）: 25.423413775524704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many image understanding tasks involve identifying what is present and where it appears. However, tasks that address where, such as object discovery, detection, and segmentation, are often considerably more complex than image classification, which primarily focuses on what. One possible reason is that classification-oriented backbones tend to emphasize semantic information about what, while implicitly entangling or suppressing information about where. In this work, we focus on an inductive bias termed what-where separation, which encourages models to represent object appearance and spatial location in a decomposed manner. To incorporate this bias throughout an attentive backbone in the style of Vision Transformer (ViT), we propose the What-Where Transformer (WWT). Our method introduces two key novel designs: (1) it treats tokens as representations of what and attention maps as representations of where, and processes them in concurrent feed-forward modules via a multi-stream, slot-based architecture; (2) it reuses both the final-layer tokens and attention maps for downstream tasks, and directly exposes them to gradients derived from task losses, thereby facilitating more effective and explicit learning of localization. We demonstrate that even under standard single-label classification-based supervision on ImageNet, WWT exhibits emergent multiple object discovery directly from raw attention maps, rather than via additional postprocessing such as token clustering. Furthermore, WWT achieves superior performance compared to ViT-based methods on zero-shot object discovery and weakly supervised semantic segmentation, and it is transferable to various localization setups with minimal modifications. Code will be published after acceptance.
• Abstract（参考訳）: 多くの画像理解タスクは、現在どこにあるかを特定することを含む。 しかしながら、オブジェクト発見、検出、セグメンテーションなどの問題に対処するタスクは、主に何に焦点を当てているイメージ分類よりもかなり複雑であることが多い。 理由の1つは、分類指向のバックボーンが意味的な情報を強調する傾向にあり、暗黙の絡み合いや、どこでの情報を抑制する傾向にある。 本研究では,モデルが物体の外観や空間的位置を分解的に表現することを奨励する「What-where separation」という帰納バイアスに着目した。 このバイアスを視覚変換器(ViT)のスタイルに応用するため,WWT(What-Where Transformer)を提案する。 提案手法では,(1) トークンを場所の表現として,および注目マップの表現として扱うとともに,マルチストリームのスロットベースアーキテクチャを用いて,同時フィードフォワードモジュールで処理する,(2) 下流タスクにおいて,最終層トークンと注目マップの両方を再利用し,タスク損失から導出される勾配に直接公開することにより,より効果的で明示的なローカライゼーション学習を促進する,という2つの新しい設計を提案する。 我々は,標準の単一ラベル分類に基づくImageNetの監督下であっても,トークンクラスタリングなどの後処理を介さずに,生の注目マップから直接複数のオブジェクトを発見できることを実証した。 さらに、WWTは、ゼロショットオブジェクト発見と弱教師付きセマンティックセグメンテーションにおけるViTベースの手法と比較して優れた性能を実現し、最小限の変更で様々なローカライズ設定に転送可能である。 コードは受理後公開される。

関連論文リスト

• OFFSET: Segmentation-based Focus Shift Revision for Composed Image Retrieval [59.377821673653436]
  Composed Image Retrieval (CIR)は、ユーザの複雑な検索要求を柔軟に表現することができる。 1) 視覚データにおける支配的部分とノイズ的部分の不均一性は無視され、クエリー特徴が劣化する。 本研究は、主部分分割と二重焦点写像という2つのモジュールからなる集中写像に基づく特徴抽出器を提案する。
  論文  参考訳（メタデータ） (2025-07-08T03:27:46Z)
• Unified Local and Global Attention Interaction Modeling for Vision Transformers [1.9571946424055506]
  本稿では,視覚変換器(ViT)の自己認識機構を拡張し,多様なデータセット間でより正確な物体検出を行う手法を提案する。 ViTは、オブジェクト検出、セグメンテーション、分類などの画像理解タスクに強力な能力を示す。 従来の自己意識フレームワークには,局所的特徴混合のための新たなアグレッシブ・コンボリューション・プール戦略と,新たな概念的アテンション・トランスフォーメーションという,2つの改良が加えられている。
  論文  参考訳（メタデータ） (2024-12-25T04:53:19Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Re-Attention Transformer for Weakly Supervised Object Localization [45.417606565085116]
  本稿では,トークン精錬トランス (TRT) と呼ばれる再アテンション機構を提案する。 具体的には、TPSM(トークン優先スコアリングモジュール)と呼ばれる新しいモジュールを導入し、ターゲットオブジェクトにフォーカスしながらバックグラウンドノイズの影響を抑える。
  論文  参考訳（メタデータ） (2022-08-03T04:34:28Z)
• Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition [24.406654146411682]
  視覚変換器 (ViT) が研究基盤である。 私たちの目標は、ViTのパッチトークンとセルフアテンションメカニズムを活用して、リッチなインスタンスをマルチラベルイメージでマイニングすることにあります。 マルチスケールな局所的特徴を抽出するために、弱教師付きオブジェクトローカライゼーションに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-22T14:38:40Z)
• LEAD: Self-Supervised Landmark Estimation by Aligning Distributions of Feature Similarity [49.84167231111667]
  自己監督型ランドマーク検出における既存の研究は、画像から高密度(ピクセルレベルの)特徴表現を学習することに基づいている。 自己教師付き方式で高密度同変表現の学習を強化するアプローチを提案する。 機能抽出器にそのような先行性があることは,アノテーションの数が大幅に制限されている場合でも,ランドマーク検出に役立ちます。
  論文  参考訳（メタデータ） (2022-04-06T17:48:18Z)
• Learning to Detect Instance-level Salient Objects Using Complementary Image Labels [55.049347205603304]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2021-11-19T10:15:22Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• UR2KiD: Unifying Retrieval, Keypoint Detection, and Keypoint Description without Local Correspondence Supervision [16.68130648568593]
  キーポイント検出、記述、画像検索という3つの関連するタスクは、単一の統合フレームワークを使用して共同で取り組むことができる。 標準的なResNetアーキテクチャのシーケンシャルレイヤからの多様な情報を活用することで、ローカル情報をエンコードするキーポイントと記述子を抽出できる。 画像検索のためのグローバル情報は、上記のローカル応答のプールに基づいて、エンドツーエンドのパイプラインにエンコードされる。
  論文  参考訳（メタデータ） (2020-01-20T21:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。