論文の概要: Neural Clustering based Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2403.17409v1
• Date: Tue, 26 Mar 2024 06:04:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:36:05.435672
• Title: Neural Clustering based Visual Representation Learning
• Title（参考訳）: ニューラルクラスタリングに基づく視覚表現学習
• Authors: Guikun Chen, Xia Li, Yi Yang, Wenguan Wang,
• Abstract要約: クラスタリングは、機械学習とデータ分析における最も古典的なアプローチの1つである。 本稿では,特徴抽出をデータから代表者を選択するプロセスとみなすクラスタリング(FEC)による特徴抽出を提案する。 FECは、個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。
• 参考スコア（独自算出の注目度）: 61.72646814537163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate a fundamental aspect of machine vision: the measurement of features, by revisiting clustering, one of the most classic approaches in machine learning and data analysis. Existing visual feature extractors, including ConvNets, ViTs, and MLPs, represent an image as rectangular regions. Though prevalent, such a grid-style paradigm is built upon engineering practice and lacks explicit modeling of data distribution. In this work, we propose feature extraction with clustering (FEC), a conceptually elegant yet surprisingly ad-hoc interpretable neural clustering framework, which views feature extraction as a process of selecting representatives from data and thus automatically captures the underlying data distribution. Given an image, FEC alternates between grouping pixels into individual clusters to abstract representatives and updating the deep features of pixels with current representatives. Such an iterative working mechanism is implemented in the form of several neural layers and the final representatives can be used for downstream tasks. The cluster assignments across layers, which can be viewed and inspected by humans, make the forward process of FEC fully transparent and empower it with promising ad-hoc interpretability. Extensive experiments on various visual recognition models and tasks verify the effectiveness, generality, and interpretability of FEC. We expect this work will provoke a rethink of the current de facto grid-style paradigm.
• Abstract（参考訳）: 機械学習とデータ分析における最も古典的なアプローチの1つであるクラスタリングを再考することにより、特徴を測定することによる、マシンビジョンの基本的な側面について検討する。 ConvNets, ViTs, MLPsなどの既存の視覚特徴抽出器は、画像を長方形の領域として表現している。 しかし、そのようなグリッドスタイルのパラダイムはエンジニアリングの実践に基づいて構築されており、データ分散の明示的なモデリングを欠いている。 本研究では,特徴抽出をデータから代表者を選択するプロセスとみなし,その基盤となるデータ分布を自動的にキャプチャする,概念的にエレガントだが驚くほど高度な解釈可能なニューラルクラスタリングフレームワークである,クラスタリング(FEC)による特徴抽出を提案する。 画像が与えられた場合、FECは個々のクラスタにピクセルをグループ化して抽象的な代表を配置し、現在の代表とピクセルの深い特徴を更新する。 このような反復的な動作機構は、複数のニューラルネットワーク層の形で実装され、最後の代表者は下流のタスクに使用できる。 人間の観察と検査が可能な層間のクラスタ割り当ては、FECの前方プロセスを完全に透明化し、有望なアドホック解釈性で権限を与える。 様々な視覚認識モデルおよびタスクに関する広範囲な実験は、FECの有効性、一般性、解釈可能性を検証する。 この作業が、現在のデファクトグリッドスタイルのパラダイムを再考することを期待しています。

関連論文リスト

• Perceptual Group Tokenizer: Building Perception with Iterative Grouping [14.760204235027627]
  本稿では,視覚的特徴を抽出し,自己指導型表現学習を行うためにグループ化操作に依存するパーセプチュアル・グループ・トケナイザを提案する。 提案モデルは,最先端のビジョンアーキテクチャと比較して,競争力のある計算性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-11-30T07:00:14Z)
• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Robust Representation Learning by Clustering with Bisimulation Metrics for Visual Reinforcement Learning with Distractions [9.088460902782547]
  Bisimulation Metrics (CBM) によるクラスタリングは、潜在空間における視覚的観察をグループ化することで、堅牢な表現を学習する。 CBMは,(1)実測距離を学習プロトタイプと測定することで観測をグループ化すること,(2)現在のクラスタ割り当てに従ってプロトタイプの集合を学習すること,の2つのステップを交互に行う。 実験により、CBMは一般的なビジュアルRLアルゴリズムのサンプル効率を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2023-02-12T13:27:34Z)
• Multi-Branch Deep Radial Basis Function Networks for Facial Emotion Recognition [80.35852245488043]
  放射状基底関数(RBF)ユニットによって形成された複数の分岐で拡張されたCNNベースのアーキテクチャを提案する。 RBFユニットは、中間表現を用いて類似のインスタンスで共有される局所パターンをキャプチャする。 提案手法は,提案手法の競争力を高めるためのローカル情報の導入であることを示す。
  論文  参考訳（メタデータ） (2021-09-07T21:05:56Z)
• Cross-Modal Discrete Representation Learning [73.68393416984618]
  本稿では,様々なモダリティにまたがるより細かい粒度を捉える表現を学習する自己教師型学習フレームワークを提案する。 我々のフレームワークは、異なるモダリティ間で共有されるベクトル量子化によって生成される離散化された埋め込み空間に依存している。
  論文  参考訳（メタデータ） (2021-06-10T00:23:33Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Information Maximization Clustering via Multi-View Self-Labelling [9.947717243638289]
  本稿では,意味のある表現を同時に学習し,対応するアノテーションを割り当てる単一フェーズクラスタリング手法を提案する。 これは、離散表現をネットを通じて自己監督パラダイムに統合することで達成される。 実験の結果,提案手法は,平均精度89.1%,49.0%で最先端技術を上回ることがわかった。
  論文  参考訳（メタデータ） (2021-03-12T16:04:41Z)
• Probabilistic Graph Attention Network with Conditional Kernels for Pixel-Wise Prediction [158.88345945211185]
  本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新たなアプローチを提案する。 構造化されたマルチスケール機能学習と融合。 本論文では,マルチスケール表現を原理的に学習・融合するための新しいアテンテンションゲート条件ランダムフィールド(AG-CRFs)モデルに基づく確率的グラフアテンションネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2021-01-08T04:14:29Z)
• Two-Level Adversarial Visual-Semantic Coupling for Generalized Zero-shot Learning [21.89909688056478]
  トレーニング中に推論ネットワークを用いて生成ネットワークを増強する2段階のジョイントアイデアを提案する。 これにより、ビジュアルドメインとセマンティックドメイン間の効果的な知識伝達のための強力な相互モーダル相互作用が提供される。 提案手法は,4つのベンチマークデータセットに対して,いくつかの最先端手法に対して評価し,その性能を示す。
  論文  参考訳（メタデータ） (2020-07-15T15:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。