論文の概要: Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens

• arxiv url: http://arxiv.org/abs/2405.13337v2
• Date: Wed, 20 Nov 2024 05:17:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:16:15.990521
• Title: Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens
• Title（参考訳）: Semantic Equitable Clustering: ビジョントークンのクラスタリングのためのシンプルで効果的な戦略
• Authors: Qihang Fan, Huaibo Huang, Mingrui Chen, Ran He,
• Abstract要約: textbfSemantic textbfEquitable textbfClustering (SEC) という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
• 参考スコア（独自算出の注目度）: 57.37893387775829
• License:
• Abstract: The Vision Transformer (ViT) has gained prominence for its superior relational modeling prowess. However, its global attention mechanism's quadratic complexity poses substantial computational burdens. A common remedy spatially groups tokens for self-attention, reducing computational requirements. Nonetheless, this strategy neglects semantic information in tokens, possibly scattering semantically-linked tokens across distinct groups, thus compromising the efficacy of self-attention intended for modeling inter-token dependencies. Motivated by these insights, we introduce a fast and balanced clustering method, named \textbf{S}emantic \textbf{E}quitable \textbf{C}lustering (SEC). SEC clusters tokens based on their global semantic relevance in an efficient, straightforward manner. In contrast to traditional clustering methods requiring multiple iterations, our method achieves token clustering in a single pass. Additionally, SEC regulates the number of tokens per cluster, ensuring a balanced distribution for effective parallel processing on current computational platforms without necessitating further optimization. Capitalizing on SEC, we propose a versatile vision backbone, SECViT. Comprehensive experiments in image classification, object detection, instance segmentation, and semantic segmentation validate the effectiveness of SECViT. Moreover, SEC can be conveniently and swiftly applied to multimodal large language models (MLLM), such as LLaVA, to serve as a vision language connector, effectively accelerating the model's efficiency while maintaining unchanged or better performance.
• Abstract（参考訳）: Vision Transformer (ViT)は、優れたリレーショナルモデリング技術で有名になった。 しかし、そのグローバルな注意機構の二次的な複雑さは、かなりの計算上の負担をもたらす。 一般的な治療法は、自己注意のためのトークンを空間的にグループ化し、計算要求を減少させる。 にもかかわらず、この戦略はトークンのセマンティック情報を無視し、意味的にリンクされたトークンを異なるグループに分散させ、トークン間の依存関係をモデル化するための自己意図の有効性を損なう。 これらの知見に触発され、高速かつバランスの取れたクラスタリング手法である \textbf{S}emantic \textbf{E}quitable \textbf{C}lustering (SEC) を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 複数の反復を必要とする従来のクラスタリング手法とは対照的に,本手法はトークンクラスタリングを1回のパスで達成する。 さらに、SECはクラスタ単位のトークン数を規制し、さらなる最適化を必要とせず、現在の計算プラットフォーム上で効果的な並列処理のためのバランスの取れた分散を保証する。 SECに出資し、多目的ビジョンバックボーンであるSECViTを提案する。 画像分類、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションにおける総合的な実験は、SECViTの有効性を検証する。 SECは、LLaVAのようなマルチモーダルな大規模言語モデル(MLLM)に便利かつ迅速に適用でき、視覚言語コネクタとして機能し、連続的あるいはより良い性能を維持しながら、効果的にモデルの効率を向上することができる。

関連論文リスト

• ResCLIP: Residual Attention for Training-free Dense Vision-language Inference [27.551367463011008]
  CLIPの非最終層における自己注意の相互相関も局在特性を示す。 本稿では, 中間層からの相互相関自己アテンションを利用して, 最終ブロックの注意を再認識するResidual Cross-correlation Self-attention (RCS) モジュールを提案する。 RCSモジュールは空間情報を効果的に再構成し、高密度視覚言語推論のためのCLIP内の局在電位を解放する。
  論文  参考訳（メタデータ） (2024-11-24T14:14:14Z)
• Effective SAM Combination for Open-Vocabulary Semantic Segmentation [24.126307031048203]
  Open-vocabulary semantic segmentationは、無制限のクラスにわたる画像にピクセルレベルのラベルを割り当てることを目的としている。 ESC-Netは、SAMデコーダブロックを利用してクラスに依存しないセグメンテーションを行う新しい1段オープン語彙セグメンテーションモデルである。 ESC-NetはADE20K、PASCAL-VOC、PASCAL-Contextなどの標準ベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-11-22T04:36:12Z)
• Agglomerative Token Clustering [61.0477253613511]
  Agglomerative Token Clustering (ATC)は、新しいトークンマージ手法である。 ATCはすべてのタスクで最先端のパフォーマンスを達成でき、既定の最先端をオフ・ザ・シェルフで適用した場合と同等に動作させることができる。
  論文  参考訳（メタデータ） (2024-09-18T12:37:58Z)
• MST: Adaptive Multi-Scale Tokens Guided Interactive Segmentation [8.46894039954642]
  対話型セグメンテーションのための新しいマルチスケールトークン適応アルゴリズムを提案する。 マルチスケールトークンでトップk演算を行うことで、計算の複雑さが大幅に単純化される。 また,コントラスト損失に基づくトークン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-09T07:59:42Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Learning the Precise Feature for Cluster Assignment [39.320210567860485]
  表現学習とクラスタリングを1つのパイプラインに初めて統合するフレームワークを提案する。 提案フレームワークは,近年開発された生成モデルを用いて,本質的な特徴を学習する能力を活用している。 実験の結果,提案手法の性能は,最先端の手法よりも優れているか,少なくとも同等であることがわかった。
  論文  参考訳（メタデータ） (2021-06-11T04:08:54Z)
• You Never Cluster Alone [150.94921340034688]
  我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。 分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。 代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
  論文  参考訳（メタデータ） (2021-06-03T14:59:59Z)
• Unsupervised Visual Representation Learning by Online Constrained K-Means [44.38989920488318]
  クラスタ識別は、教師なし表現学習の効果的な前提課題である。 オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
  論文  参考訳（メタデータ） (2021-05-24T20:38:32Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)
• Learning to Cluster Faces via Confidence and Connectivity Estimation [136.5291151775236]
  重複する部分グラフを多数必要とせず,完全に学習可能なクラスタリングフレームワークを提案する。 提案手法はクラスタリングの精度を大幅に向上させ,その上で訓練した認識モデルの性能を向上させるが,既存の教師付き手法に比べて桁違いに効率的である。
  論文  参考訳（メタデータ） (2020-04-01T13:39:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。