論文の概要: Multi-Head Encoding for Extreme Label Classification
- arxiv url: http://arxiv.org/abs/2412.10182v1
- Date: Fri, 13 Dec 2024 14:53:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:04:21.673083
- Title: Multi-Head Encoding for Extreme Label Classification
- Title（参考訳）: 極端ラベル分類のためのマルチヘッド符号化
- Authors: Daojun Liang, Haixia Zhang, Dongfeng Yuan, Minggao Zhang,
- Abstract要約: eXtreme Classification Label (XLC) は、大量のラベルを識別するために確立されている。
カテゴリの数が増加するにつれて、分類器内のパラメータの数や非線形演算も増加する。
これにより計算過負荷問題(CCOP)が発生する。
- 参考スコア（独自算出の注目度）: 15.815842882043734
- License:
- Abstract: The number of categories of instances in the real world is normally huge, and each instance may contain multiple labels. To distinguish these massive labels utilizing machine learning, eXtreme Label Classification (XLC) has been established. However, as the number of categories increases, the number of parameters and nonlinear operations in the classifier also rises. This results in a Classifier Computational Overload Problem (CCOP). To address this, we propose a Multi-Head Encoding (MHE) mechanism, which replaces the vanilla classifier with a multi-head classifier. During the training process, MHE decomposes extreme labels into the product of multiple short local labels, with each head trained on these local labels. During testing, the predicted labels can be directly calculated from the local predictions of each head. This reduces the computational load geometrically. Then, according to the characteristics of different XLC tasks, e.g., single-label, multi-label, and model pretraining tasks, three MHE-based implementations, i.e., Multi-Head Product, Multi-Head Cascade, and Multi-Head Sampling, are proposed to more effectively cope with CCOP. Moreover, we theoretically demonstrate that MHE can achieve performance approximately equivalent to that of the vanilla classifier by generalizing the low-rank approximation problem from Frobenius-norm to Cross-Entropy. Experimental results show that the proposed methods achieve state-of-the-art performance while significantly streamlining the training and inference processes of XLC tasks. The source code has been made public at https://github.com/Anoise/MHE.
- Abstract（参考訳）: 実世界のインスタンスのカテゴリ数は、通常巨大であり、各インスタンスは複数のラベルを含むことができる。
機械学習を利用したこれらの巨大なラベルを識別するために、eXtreme Label Classification (XLC)が確立されている。
しかし、カテゴリの数が増加するにつれて、分類器内のパラメータや非線形演算の数も増加する。
これにより、分類器計算過負荷問題(CCOP)が発生する。
そこで本研究では,バニラ分類器をマルチヘッド分類器に置き換えるマルチヘッド符号化(MHE)機構を提案する。
トレーニングプロセスの間、MHEは極端なラベルを複数の短いローカルラベルの製品に分解し、各ヘッドはこれらのローカルラベルでトレーニングする。
テスト中、予測されたラベルは各ヘッドの局所的な予測から直接計算できる。
これにより、計算負荷は幾何的に減少する。
次に, マルチヘッド製品, マルチヘッドカスケード, マルチヘッドサンプリングという3つのMHEベースの実装を, CCOPをより効果的に扱うために, 多様なXLCタスク, 例えば, シングルラベル, マルチラベル, モデル事前訓練タスクの特性に基づいて提案する。
さらに,MHEはフロベニウスノルムからクロスエントロピーへの低ランク近似問題を一般化することにより,バニラ分類器とほぼ同等の性能が得られることを理論的に証明した。
実験の結果,提案手法は,XLCタスクの学習過程と推論過程を著しく合理化しつつ,最先端の性能を実現することがわかった。
ソースコードはhttps://github.com/Anoise/MHEで公開されている。
関連論文リスト
- Label Cluster Chains for Multi-Label Classification [2.072831155509228]
マルチラベル分類は、複数のラベルをインスタンスに同時に割り当てることができる教師付き機械学習の一種である。
そこで本稿では,ラベル空間に分割法を適用して得られた解離相関ラベルクラスタをチェーンする手法を提案する。
提案手法は,学習と連鎖が相関するラベルクラスタをよりよく探索し,ラベル相関を学習できることを示唆する。
論文 参考訳（メタデータ） (2024-11-01T11:16:37Z) - LC-Protonets: Multi-Label Few-Shot Learning for World Music Audio Tagging [65.72891334156706]
ラベル結合型プロトタイプネットワーク(LC-Protonets)を導入し,複数ラベルの複数ショット分類の問題に対処する。
LC-Protonetsは、限られたトレーニング項目に存在するラベルのパワーセットから、ラベルの組み合わせごとに1つのプロトタイプを生成する。
本手法は,様々な文化をカバーし,現代音楽と伝統音楽の両方を含む,多様な音楽データセットにまたがる自動音声タグ付けに適用する。
論文 参考訳（メタデータ） (2024-09-17T15:13:07Z) - UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。
この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
論文 参考訳（メタデータ） (2024-05-04T17:27:51Z) - Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label
Classification [13.845115961850434]
シグモイド出力層はマルチラベル分類(MLC)タスクで広く利用されている。
多くの実用的なLCCタスクでは、ラベルの数は数千個にのぼり、入力する特徴の数を超えている。
このような低ランクな出力層はボトルネックであり、結果として最大ではないクラスが得られることを示す。
論文 参考訳（メタデータ） (2023-10-16T14:25:50Z) - Complementary to Multiple Labels: A Correlation-Aware Correction
Approach [65.59584909436259]
理論上, マルチクラスCLLにおける遷移行列が, 複数ラベルの場合どのように歪むかを示す。
候補ラベルから遷移行列を推定する2段階の手法を提案する。
論文 参考訳（メタデータ） (2023-02-25T04:48:48Z) - Combining Metric Learning and Attention Heads For Accurate and Efficient
Multilabel Image Classification [0.0]
マルチラベル分類における2つの一般的なアプローチについて再検討する。
トランスフォーマーベースヘッドはグラフベースのブランチよりも優れた結果が得られると考えられるが、適切なトレーニング戦略により、グラフベースの手法はわずかに精度の低下を示すことができると論じる。
論文 参考訳（メタデータ） (2022-09-14T12:06:47Z) - Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
監督されたディープラーニングは、大量の注釈付き例に依存している。
典型的な方法は、複数のノイズアノテータから学習することである。
本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T16:57:00Z) - Gated recurrent units and temporal convolutional network for multilabel
classification [122.84638446560663]
本研究は,マルチラベル分類を管理するための新しいアンサンブル手法を提案する。
提案手法のコアは,Adamグラデーション最適化アプローチの変種で訓練された,ゲート再帰単位と時間畳み込みニューラルネットワークの組み合わせである。
論文 参考訳（メタデータ） (2021-10-09T00:00:16Z) - Label Disentanglement in Partition-based Extreme Multilabel
Classification [111.25321342479491]
分割型XMCにおけるラベル割り当て問題を最適化問題として定式化できることを示す。
提案手法はマルチモーダルラベルのアンタングル化に成功し、4つのXMCベンチマークでSOTA(State-of-the-art)結果が得られた。
論文 参考訳（メタデータ） (2021-06-24T03:24:18Z) - Probabilistic Label Trees for Extreme Multi-label Classification [8.347190888362194]
極端なマルチラベル分類(XMLC)の問題は,木としてラベルを整理することで効率的に処理される。
PLTは多ラベル問題に対する階層的ソフトマックスの一般化として扱うことができる。
このモデルを導入し、トレーニングと推論手順とその計算コストについて論じる。
完全にオンラインのアルゴリズムと木構造を持つアルゴリズムとの間には,特定の等価性があることを実証する。
論文 参考訳（メタデータ） (2020-09-23T15:30:00Z) - Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。
提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。
マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
論文 参考訳（メタデータ） (2020-04-20T12:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。