論文の概要: Enhancing Classification with Hierarchical Scalable Query on Fusion Transformer

• arxiv url: http://arxiv.org/abs/2302.14487v1
• Date: Tue, 28 Feb 2023 11:00:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 16:52:27.911453
• Title: Enhancing Classification with Hierarchical Scalable Query on Fusion Transformer
• Title（参考訳）: Fusion Transformerにおける階層型スケーラブルクエリによる分類の強化
• Authors: Sudeep Kumar Sahoo, Sathish Chalasani, Abhishek Joshi and Kiran Nanjunda Iyer
• Abstract要約: 本稿では,学習可能な独立クエリ埋め込みによる階層的手法により,きめ細かい分類を向上する手法を提案する。 階層構造の概念を利用して、あらゆるレベルにわたってスケーラブルなクエリの埋め込みを学びます。 本手法は, 細粒度分類において, 従来の手法よりも11%の精度で性能を向上できる。
• 参考スコア（独自算出の注目度）: 0.4129225533930965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world vision based applications require fine-grained classification for various area of interest like e-commerce, mobile applications, warehouse management, etc. where reducing the severity of mistakes and improving the classification accuracy is of utmost importance. This paper proposes a method to boost fine-grained classification through a hierarchical approach via learnable independent query embeddings. This is achieved through a classification network that uses coarse class predictions to improve the fine class accuracy in a stage-wise sequential manner. We exploit the idea of hierarchy to learn query embeddings that are scalable across all levels, thus making this a relevant approach even for extreme classification where we have a large number of classes. The query is initialized with a weighted Eigen image calculated from training samples to best represent and capture the variance of the object. We introduce transformer blocks to fuse intermediate layers at which query attention happens to enhance the spatial representation of feature maps at different scales. This multi-scale fusion helps improve the accuracy of small-size objects. We propose a two-fold approach for the unique representation of learnable queries. First, at each hierarchical level, we leverage cluster based loss that ensures maximum separation between inter-class query embeddings and helps learn a better (query) representation in higher dimensional spaces. Second, we fuse coarse level queries with finer level queries weighted by a learned scale factor. We additionally introduce a novel block called Cross Attention on Multi-level queries with Prior (CAMP) Block that helps reduce error propagation from coarse level to finer level, which is a common problem in all hierarchical classifiers. Our method is able to outperform the existing methods with an improvement of ~11% at the fine-grained classification.
• Abstract（参考訳）: 実世界のビジョンベースのアプリケーションは、電子商取引、モバイルアプリケーション、倉庫管理など、さまざまな分野の詳細な分類を必要とし、ミスの深刻度を低減し、分類精度を向上させることが最も重要である。 本稿では,学習可能な独立クエリ埋め込みによる階層的アプローチによる細粒度分類の促進手法を提案する。 これは、粗いクラス予測を使用して、段階的な逐次的な方法で正確なクラス精度を改善する分類ネットワークによって達成される。 階層構造の概念を利用して、あらゆるレベルにわたってスケーラブルなクエリ埋め込みを学習するので、クラスが多数存在する極端な分類においても、これは関連するアプローチになります。 クエリは、トレーニングサンプルから算出した重み付きEigenイメージで初期化され、オブジェクトの分散を最もよく表現し、キャプチャする。 そこで我々は,問合せを行う中間層を融合するトランスフォーマティブブロックを導入し,異なるスケールで特徴マップの空間表現を強化する。 このマルチスケール融合は、小型物体の精度を向上させる。 学習可能なクエリのユニークな表現のための2つのアプローチを提案する。 まず、各階層レベルでクラスタベースの損失を利用して、クラス間のクエリの埋め込みを最大限に分離し、高次元空間におけるより良い(クエリ)表現の学習を支援する。 第二に、学習スケールファクターによって重み付けされたより細かいレベルのクエリで粗いレベルのクエリを融合する。 さらに,マルチレベルクエリにクロス・アテンション(cross attention)と呼ばれる新しいブロックを導入することで,全階層分類器において一般的な問題である粗いレベルから細かいレベルへのエラー伝搬を低減できる。 本手法は, 粒度分類において, 〜11%の精度で既存手法を上回ることができる。

関連論文リスト

• Harnessing Superclasses for Learning from Hierarchical Databases [1.835004446596942]
  多くの大規模分類問題において、クラスは既知の階層に整理され、通常木として表される。 この種の教師付き階層分類の損失について紹介する。 提案手法では,クロスエントロピーの損失に比較して,計算コストの大幅な増大は伴わない。
  論文  参考訳（メタデータ） (2024-11-25T14:39:52Z)
• Efficient Subclass Segmentation in Medical Images [3.383033695275859]
  コストを削減するための実現可能な方法の1つは、補体として限定されたきめ細かいアノテーションを使用しながら、粗い粒度のスーパークラスラベルでアノテートすることである。 セマンティックセグメンテーションタスクにおけるきめ細かいサブクラスの効率的な学習に関する研究が不足している。 提案手法は,サブクラスアノテーションが限定された完全サブクラスアノテーションと十分なスーパークラスアノテーションで訓練されたモデルに匹敵する精度を実現する。
  論文  参考訳（メタデータ） (2023-07-01T07:39:08Z)
• Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification [61.411869453639845]
  クラス間およびクラス内変動を同時に対応できるバイコンストラクション機構を導入する。 この設計は、モデルがより微妙で差別的な特徴を探索するのに役立つ。 広範に使用されている3つのきめ細かな画像分類データセットに対する実験結果は、一貫して大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-30T16:55:14Z)
• Hierarchical classification at multiple operating points [1.520694326234112]
  階層内の各クラスにスコアを割り当てる任意のメソッドに対して,演算特性曲線を生成する効率的なアルゴリズムを提案する。 2つの新しい損失関数を提案し、構造的ヒンジ損失のソフトな変形が平坦なベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-19T23:36:16Z)
• Decision Making for Hierarchical Multi-label Classification with Multidimensional Local Precision Rate [4.812468844362369]
  我々は,各クラスの各対象に対して,多次元局所精度率 (mLPR) と呼ばれる新しい統計モデルを導入する。 我々は,mLPRの下位順序でクラス間でオブジェクトをソートするだけで,クラス階層を確実にすることができることを示す。 これに対し、階層を尊重しながら推定mLPRを用いてCATCHの実証バージョンを最大化する新しいアルゴリズムであるHierRankを導入する。
  論文  参考訳（メタデータ） (2022-05-16T17:43:35Z)
• Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation [25.114533037440896]
  本稿では、2つの分類器の構造を複数の分類器に拡張し、その性能をさらに向上することを提案する。 平均的に、3つの分類器の構造を採用すると、精度と効率のトレードオフとして最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-02T03:00:13Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)
• Binary Classification from Multiple Unlabeled Datasets via Surrogate Set Classification [94.55805516167369]
  我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。 我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
  論文  参考訳（メタデータ） (2021-02-01T07:36:38Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies [65.92826041406802]
  本稿では,グラフ分類の観点から,プロキシベースのディープグラフメトリックラーニング手法を提案する。 複数のグローバルプロキシを利用して、各クラスの元のデータポイントを総括的に近似する。 本研究では, 近接関係を接地トラス・ラベルに従って調整する, 新たな逆ラベル伝搬アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-26T14:52:42Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。