論文の概要: ML-Decoder: Scalable and Versatile Classification Head
- arxiv url: http://arxiv.org/abs/2111.12933v1
- Date: Thu, 25 Nov 2021 06:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-04 21:31:21.483585
- Title: ML-Decoder: Scalable and Versatile Classification Head
- Title(参考訳): MLデコーダ:スケーラブルでVersatileな分類ヘッド
- Authors: Tal Ridnik, Gilad Sharir, Avi Ben-Cohen, Emanuel Ben-Baruch, Asaf Noy
- Abstract要約: ML-Decoderは、新しいアテンションベースの分類ヘッドである。
ML-Decoderはクエリを介してクラスラベルの存在を予測する。
いくつかの分類タスクで最先端の結果が得られます。
- 参考スコア(独自算出の注目度): 3.0536369182792513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce ML-Decoder, a new attention-based classification
head. ML-Decoder predicts the existence of class labels via queries, and
enables better utilization of spatial data compared to global average pooling.
By redesigning the decoder architecture, and using a novel group-decoding
scheme, ML-Decoder is highly efficient, and can scale well to thousands of
classes. Compared to using a larger backbone, ML-Decoder consistently provides
a better speed-accuracy trade-off. ML-Decoder is also versatile - it can be
used as a drop-in replacement for various classification heads, and generalize
to unseen classes when operated with word queries. Novel query augmentations
further improve its generalization ability. Using ML-Decoder, we achieve
state-of-the-art results on several classification tasks: on MS-COCO
multi-label, we reach 91.4% mAP; on NUS-WIDE zero-shot, we reach 31.1% ZSL mAP;
and on ImageNet single-label, we reach with vanilla ResNet50 backbone a new top
score of 80.7%, without extra data or distillation. Public code is available
at: https://github.com/Alibaba-MIIL/ML_Decoder
- Abstract(参考訳): 本稿では,新しいアテンションベース分類ヘッドであるML-Decoderを紹介する。
ml-decoderはクエリを通じてクラスラベルの存在を予測し、グローバル平均プーリングと比較して空間データの有効利用を可能にする。
デコーダアーキテクチャを再設計し、新しいグループデコーダスキームを使用することで、ML-Decoderは非常に効率的で、数千のクラスにスケールすることができる。
より大きなバックボーンを使用する場合と比較して、ML-Decoderは一貫して、より高速なトレードオフを提供する。
ML-Decoderは、様々な分類ヘッドのドロップイン代替として使用でき、ワードクエリで操作すると、見えないクラスに一般化できる。
新しいクエリ拡張により、その一般化能力はさらに向上する。
ML-Decoderを用いて、MS-COCOマルチラベルでは91.4% mAP、NUS-WIDEゼロショットでは31.1% ZSL mAP、ImageNetシングルラベルではバニラResNet50バックボーンで80.7%の新しいトップスコアを得る。
public code is available at https://github.com/Alibaba-MIIL/ML_Decoder
関連論文リスト
- SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation [91.91385816767057]
オープンボキャブラリセマンティックセグメンテーションは、ピクセルをオープンなカテゴリの集合から異なるセマンティックグループに区別する試みである。
オープン語彙セマンティックセグメンテーションのための単純なエンコーダデコーダSEDを提案する。
SED法では、ADE20KではmIoUスコアが31.6%、A6000では画像あたり82ミリ秒(ms$)のカテゴリが150である。
論文 参考訳(メタデータ) (2023-11-27T05:00:38Z) - ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks [75.12666425091702]
大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T12:03:21Z) - ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference
Pipeline [2.0813318162800707]
我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。
ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。
ezDPSは,全測定値における一般的な回路ベース手法よりも1~3桁効率が高いことを示す。
論文 参考訳(メタデータ) (2022-12-11T06:47:28Z) - Efficient Machine-Learning-based decoder for Heavy Hexagonal QECC [0.9670182163018803]
表面符号のような位相符号は、通常、MWPM (Minimum Weight Perfect Matching) ベースのデコーダを使用してデコードされた。
近年の進歩により、トポロジカルコードは機械学習(ML)技術の展開によって効率的に復号化可能であることが示されている。
論文 参考訳(メタデータ) (2022-10-18T10:16:14Z) - On Non-Random Missing Labels in Semi-Supervised Learning [114.62655062520425]
Semi-Supervised Learning (SSL)は基本的にラベルの問題である。
SSL に "class" を明示的に組み込んでいます。
提案手法は,既存のベースラインを著しく上回るだけでなく,他のラベルバイアス除去SSL法を上回ります。
論文 参考訳(メタデータ) (2022-06-29T22:01:29Z) - Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
監督されたディープラーニングは、大量の注釈付き例に依存している。
典型的な方法は、複数のノイズアノテータから学習することである。
本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
論文 参考訳(メタデータ) (2022-03-08T16:57:00Z) - Tribuo: Machine Learning with Provenance in Java [0.0]
トレーニング、型安全性、ランタイムチェック、自動記録をひとつのフレームワークに統合するJava MLライブラリであるTribuoを紹介します。
Tribuoのモデルと評価はすべて、トレーニングアルゴリズムとともに、入力データの完全な処理パイプラインを記録している。
論文 参考訳(メタデータ) (2021-10-06T19:10:50Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳(メタデータ) (2020-12-03T02:07:43Z) - Decoding machine learning benchmarks [0.0]
アイテム応答理論(IRT)は、優れた機械学習ベンチマークとなるべきものを解明するための新しいアプローチとして登場した。
IRTは、よく知られたOpenML-CC18ベンチマークを探索し、分類器の評価にどの程度適しているかを特定した。
論文 参考訳(メタデータ) (2020-07-29T14:39:41Z) - Online Metric Learning for Multi-Label Classification [22.484707213499714]
マルチラベル分類のための新しいオンラインメトリック学習パラダイムを提案する。
我々はまず,$k$-Nearest Neighbour(k$NN)に基づくマルチラベル分類のための新しい指標を提案する。
論文 参考訳(メタデータ) (2020-06-12T11:33:04Z) - OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax
Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。
そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。
実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-04-20T02:41:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。