論文の概要: Objects as Addresses: Instance Binding in Vision Transformer Attention
- arxiv url: http://arxiv.org/abs/2611.17240v1
- Date: Thu, 12 Nov 2026 18:27:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.587094
- Title: Objects as Addresses: Instance Binding in Vision Transformer Attention
- Title(参考訳): アドレスとしてのオブジェクト:視覚変換器の注意に結合するインスタンス
- Abstract要約: 人間は自然に視覚的なシーンを、散在する特徴ではなく、一貫性のある個々のオブジェクトに解析する。
インスタンス分離はトークンの内容よりも注意ルーティングにおいて強く表現される。
このクエリコンポーネントによるグループパッチは、最終層の機能と同じクラスタリングに対して、.615 FG-ARI 対.289 で同じカテゴリインスタンスを分離する。
- 参考スコア(独自算出の注目度): 8.62968609670716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans naturally parse visual scenes into coherent individual objects rather than scattered features, a capability cognitive science calls object binding. While recent work shows that pretrained Vision Transformers (ViTs) intrinsically acquire this ability, how native self-attention computations mechanistically keep object instances separate remains unresolved. By studying this across eight pretrained ViTs, we found that instance separation is expressed more strongly in attention routing than in token content: selected query-key relations distinguish individual objects more reliably than value similarity or residual representations. Inside heads, patches belonging to one individual tend to read from a common image region, which we term their attention address. Visually distinct parts of one person share an address, whereas identical duplicated instances receive separate, movable addresses. These shared destinations arise in part because query interactions with the spatial structure of keys direct attention toward consistent regions for one object and elsewhere for another. In DINOv2 and most other backbones we tested, editing this query component at the selected head redirects its attention address toward another individual. Grouping patches by this query component separates same-category instances, reaching .615 FG-ARI versus .289 for the same clustering of final-layer features, which tend to merge them.
- Abstract(参考訳): 人間は自然に視覚的なシーンを、散在する特徴ではなく、一貫性のある個々のオブジェクトに解析する。
最近の研究は、事前学習された視覚変換器(ViT)が本質的にこの能力を取得することを示しているが、ネイティブな自己注意計算がいかにしてオブジェクトインスタンスを分離したままにしておくかは未解決のままである。
このことを8つの事前訓練されたViTで調べることで、トークンの内容よりも注目ルーティングにおいて、インスタンス分離がより強く表現されることが判明した。
頭の中では、ある個人に属するパッチは、共通の画像領域から読み取る傾向があり、注意アドレスと呼ぶ。
同一の重複インスタンスが別の可動アドレスを受け取るのに対して、ある人の視覚的に異なる部分はアドレスを共有する。
これらの共有宛先は、鍵の空間構造とのクエリ相互作用が、あるオブジェクトや他のオブジェクトに対して一貫した領域に対して直接注意を払っているためである。
私たちがテストしたDINOv2や他のバックボーンでは、選択されたヘッドでこのクエリコンポーネントを編集して、そのアテンションアドレスを別の個人にリダイレクトします。
このクエリコンポーネントによるグループパッチは、同じカテゴリのインスタンスを分離し、最終層機能のクラスタリングで.615 FG-ARI と .289 に到達し、それらをマージする傾向にある。
関連論文リスト
- OneScene-Bench: Do Vision-Language Models Integrate Evidence Across Views? [53.55448647707595]
OneScene-Benchは、クロスビュー統合がいつ必要かを明確に区別するために設計されたベンチマークである。
本ベンチマークでは,一意なオブジェクトカウント,クロスビュー整合性,空間的推論という,実世界のマルチビューシーンにおける3つの補完機能を評価する。
計算精度は4.5-50.0%から45.5-81.5%までの相補的なビューで大幅に低下することがわかった。
論文 参考訳(メタデータ) (2026-10-28T21:17:36Z) - Finding Distributed Object-Centric Properties in Self-Supervised Transformers [59.00547715011873]
自己監督型視覚変換器(ViT)は、最終層のトークンアテンションマップでよく見られる、オブジェクトを発見できる創発的な能力を示す。
これは、[]トークンがイメージレベルの目的に基づいてトレーニングされ、オブジェクトにフォーカスするのではなく、全体像を要約しているためです。
我々は、この分散オブジェクト中心情報を抽出するトレーニング不要なObject-DINOを提案する。
論文 参考訳(メタデータ) (2026-03-27T07:22:04Z) - ObjectRelator: Enabling Cross-View Object Relation Understanding Across Ego-Centric and Exo-Centric Perspectives [109.11714588441511]
Ego-Exoオブジェクト対応タスクは,セグメンテーションを通じて,ego-Exoパースペクティブ間のオブジェクト関係を理解することを目的としている。
最近提案されたセグメンテーション手法であるPSALMは、このタスクでデモされたゼロショット能力を例外として挙げている。
我々は、マルチモーダルコンディションフュージョンとSSLベースのクロスビューオブジェクトアライメントという、2つの重要なモジュールを特徴とする新しいアプローチであるObjectRelatorを提案する。
論文 参考訳(メタデータ) (2024-11-28T12:01:03Z) - VrdONE: One-stage Video Visual Relation Detection [30.983521962897477]
Video Visual Relation Detection (VidVRD)は、ビデオの時間と空間におけるエンティティの理解に焦点を当てている。
VidVRDの従来の手法は、その複雑さに悩まされ、通常、タスクを2つの部分に分割する。
VidVRDのワンステージモデルであるVrdONEを提案する。
論文 参考訳(メタデータ) (2024-08-18T08:38:20Z) - Dissecting Query-Key Interaction in Vision Transformers [4.743574336827573]
視覚変換器における自己注意はしばしば知覚的なグループ化を行うと考えられている。
相互作用行列の特異値分解による問合せキーの相互作用の解析を行う。
論文 参考訳(メタデータ) (2024-04-04T20:06:07Z) - Object-Centric Multiple Object Tracking [124.30650395969126]
本稿では,多目的追跡パイプラインのためのビデオオブジェクト中心モデルを提案する。
オブジェクト中心のスロットを検出出力に適応するインデックスマージモジュールと、オブジェクトメモリモジュールで構成される。
オブジェクト中心学習に特化して、オブジェクトのローカライゼーションと機能バインディングのためのスパース検出ラベルしか必要としない。
論文 参考訳(メタデータ) (2023-09-01T03:34:12Z) - Perceive, Excavate and Purify: A Novel Object Mining Framework for
Instance Segmentation [4.375012768093524]
本稿では,新しいオブジェクトマイニングフレームワークを提案する。
まず、サブネットを知覚するセマンティクスを導入し、ボトムアップから明らかなインスタンスに属するピクセルをキャプチャする。
このメカニズムでは、事前認識されたセマンティクスは分類と位置を持つ元のインスタンスと見なされ、これらの元のインスタンスを取り巻く識別不能なオブジェクトはマイニングされる。
論文 参考訳(メタデータ) (2023-04-18T08:47:03Z) - Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。
このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。
また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
論文 参考訳(メタデータ) (2022-04-05T09:25:28Z) - Unsupervised Part Discovery via Feature Alignment [15.67978793872039]
我々はニューラルネットワークの特徴がニュアンス変数にほとんど不変であるという特性を利用する。
対応する特徴写像のアフィンアライメントを通して、同じポーズで同じオブジェクトカテゴリのインスタンスを示す類似した画像のセットを見つける。
推論中は、部品検出はシンプルで高速で、フィードフォワードニューラルネットワーク以外の追加モジュールやオーバーヘッドは不要である。
論文 参考訳(メタデータ) (2020-12-01T07:25:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。