論文の概要: ML-Decoder: Scalable and Versatile Classification Head

• arxiv url: http://arxiv.org/abs/2111.12933v1
• Date: Thu, 25 Nov 2021 06:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-04 21:31:21.483585
• Title: ML-Decoder: Scalable and Versatile Classification Head
• Title（参考訳）: MLデコーダ:スケーラブルでVersatileな分類ヘッド
• Authors: Tal Ridnik, Gilad Sharir, Avi Ben-Cohen, Emanuel Ben-Baruch, Asaf Noy
• Abstract要約: ML-Decoderは、新しいアテンションベースの分類ヘッドである。 ML-Decoderはクエリを介してクラスラベルの存在を予測する。 いくつかの分類タスクで最先端の結果が得られます。
• 参考スコア（独自算出の注目度）: 3.0536369182792513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce ML-Decoder, a new attention-based classification head. ML-Decoder predicts the existence of class labels via queries, and enables better utilization of spatial data compared to global average pooling. By redesigning the decoder architecture, and using a novel group-decoding scheme, ML-Decoder is highly efficient, and can scale well to thousands of classes. Compared to using a larger backbone, ML-Decoder consistently provides a better speed-accuracy trade-off. ML-Decoder is also versatile - it can be used as a drop-in replacement for various classification heads, and generalize to unseen classes when operated with word queries. Novel query augmentations further improve its generalization ability. Using ML-Decoder, we achieve state-of-the-art results on several classification tasks: on MS-COCO multi-label, we reach 91.4% mAP; on NUS-WIDE zero-shot, we reach 31.1% ZSL mAP; and on ImageNet single-label, we reach with vanilla ResNet50 backbone a new top score of 80.7%, without extra data or distillation. Public code is available at: https://github.com/Alibaba-MIIL/ML_Decoder
• Abstract（参考訳）: 本稿では,新しいアテンションベース分類ヘッドであるML-Decoderを紹介する。 ml-decoderはクエリを通じてクラスラベルの存在を予測し、グローバル平均プーリングと比較して空間データの有効利用を可能にする。 デコーダアーキテクチャを再設計し、新しいグループデコーダスキームを使用することで、ML-Decoderは非常に効率的で、数千のクラスにスケールすることができる。 より大きなバックボーンを使用する場合と比較して、ML-Decoderは一貫して、より高速なトレードオフを提供する。 ML-Decoderは、様々な分類ヘッドのドロップイン代替として使用でき、ワードクエリで操作すると、見えないクラスに一般化できる。 新しいクエリ拡張により、その一般化能力はさらに向上する。 ML-Decoderを用いて、MS-COCOマルチラベルでは91.4% mAP、NUS-WIDEゼロショットでは31.1% ZSL mAP、ImageNetシングルラベルではバニラResNet50バックボーンで80.7%の新しいトップスコアを得る。 public code is available at https://github.com/Alibaba-MIIL/ML_Decoder

関連論文リスト

• $γ-$MoD: Exploring Mixture-of-Depth Adaptation for Multimodal Large Language Models [87.43596173378913]
  我々は既存のMLLMに対して$gamma$-MoDという革新的な戦略を提案する。 $gamma$-MoD では、MLLM における MoD の展開を導くための新しい計量法が提案されている。 MLLMの計算空間を最大化する2つの新しい設計法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:53Z)
• HiLight: A Hierarchy-aware Light Global Model with Hierarchical Local ConTrastive Learning [3.889612454093451]
  階層的テキスト分類(HTC)はマルチラベル分類(MLC)のサブタスクである 階層型局所コントラスト学習(HiLCL)と呼ばれる階層型情報を導入するための新しい学習課題を提案する。
  論文  参考訳（メタデータ） (2024-08-11T14:26:58Z)
• A Systematic Investigation of Distilling Large Language Models into Cross-Encoders for Passage Re-ranking [79.35822270532948]
  大規模言語モデル (LLM) から蒸留したクロスエンコーダは、手動でラベル付けされたデータに微調整されたクロスエンコーダよりも効果的であることが多い。 我々は新しい蒸留データセットである Rank-DistiLLM を構築し,リリースする。
  論文  参考訳（メタデータ） (2024-05-13T16:51:53Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference Pipeline [2.0813318162800707]
  我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。 ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。 ezDPSは,全測定値における一般的な回路ベース手法よりも1～3桁効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-12-11T06:47:28Z)
• Efficient Syndrome Decoder for Heavy Hexagonal QECC via Machine Learning [1.1156329459915602]
  近年の進歩により、トポロジカルコードは機械学習(ML)技術の展開によって効率的に復号化可能であることが示されている。 まず、ヘキサゴナルコードのためのMLベースのデコーダを提案し、しきい値と擬似閾値の値でその効率性を確立する。 等価なエラークラスを決定するランクに基づく新しい手法が提案され、線形探索に基づくクラスよりも経験的に高速である。
  論文  参考訳（メタデータ） (2022-10-18T10:16:14Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)
• Decoding machine learning benchmarks [0.0]
  アイテム応答理論(IRT)は、優れた機械学習ベンチマークとなるべきものを解明するための新しいアプローチとして登場した。 IRTは、よく知られたOpenML-CC18ベンチマークを探索し、分類器の評価にどの程度適しているかを特定した。
  論文  参考訳（メタデータ） (2020-07-29T14:39:41Z)
• Online Metric Learning for Multi-Label Classification [22.484707213499714]
  マルチラベル分類のための新しいオンラインメトリック学習パラダイムを提案する。 我々はまず,$k$-Nearest Neighbour(k$NN)に基づくマルチラベル分類のための新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-06-12T11:33:04Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。