論文の概要: Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification

• arxiv url: http://arxiv.org/abs/2310.10443v1
• Date: Mon, 16 Oct 2023 14:25:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 13:43:44.864498
• Title: Taming the Sigmoid Bottleneck: Provably Argmaxable Sparse Multi-Label Classification
• Title（参考訳）: sigmoid ボトルネックの改ざん : アルグマブル・スパース・マルチラベル分類の可能性
• Authors: Andreas Grivas and Antonio Vergari and Adam Lopez
• Abstract要約: シグモイド出力層はマルチラベル分類(MLC)タスクで広く利用されている。 多くの実用的なLCCタスクでは、ラベルの数は数千個にのぼり、入力する特徴の数を超えている。 このような低ランクな出力層はボトルネックであり、結果として最大ではないクラスが得られることを示す。
• 参考スコア（独自算出の注目度）: 13.845115961850434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sigmoid output layers are widely used in multi-label classification (MLC) tasks, in which multiple labels can be assigned to any input. In many practical MLC tasks, the number of possible labels is in the thousands, often exceeding the number of input features and resulting in a low-rank output layer. In multi-class classification, it is known that such a low-rank output layer is a bottleneck that can result in unargmaxable classes: classes which cannot be predicted for any input. In this paper, we show that for MLC tasks, the analogous sigmoid bottleneck results in exponentially many unargmaxable label combinations. We explain how to detect these unargmaxable outputs and demonstrate their presence in three widely used MLC datasets. We then show that they can be prevented in practice by introducing a Discrete Fourier Transform (DFT) output layer, which guarantees that all sparse label combinations with up to $k$ active labels are argmaxable. Our DFT layer trains faster and is more parameter efficient, matching the F1@k score of a sigmoid layer while using up to 50% fewer trainable parameters. Our code is publicly available at https://github.com/andreasgrv/sigmoid-bottleneck.
• Abstract（参考訳）: シグモイド出力層はマルチラベル分類(MLC)タスクで広く使われており、複数のラベルを任意の入力に割り当てることができる。 多くの実用的なmlcタスクでは、可能なラベルの数は数千個であり、入力機能の数を上回り、低ランクの出力層となることが多い。 マルチクラス分類では、そのような低ランクな出力層がボトルネックとなり、任意の入力に対して予測できないクラスが最大ではないことが知られている。 本稿では, MLCタスクに対して, 類似シグモイドボトルネックが指数関数的に多くのラベルの組み合わせをもたらすことを示す。 本稿では,これらの不規則な出力を検出する方法を説明し,その存在を3つの広く使用されているMLCデータセットで示す。 次に、離散フーリエ変換(DFT)出力層を導入して、最大$kのアクティブラベルとスパースラベルの組み合わせがargmax可能であることを保証し、実際にそれらを防ぐことができることを示す。 我々のDFT層はより速く、よりパラメータ効率が良く、最大50%のトレーニング可能なパラメータを使用しながらシグモノイド層のF1@kスコアと一致する。 私たちのコードはhttps://github.com/andreasgrv/sigmoid-bottleneckで公開されています。

関連論文リスト

• UniDEC : Unified Dual Encoder and Classifier Training for Extreme Multi-Label Classification [42.36546066941635]
  Extreme Multi-label Classification (XMC) は非常に大きなラベル空間から関連するラベルのサブセットを予測する。 この研究は、デュアルエンコーダと分類器を同時に訓練する新しいエンドツーエンドのトレーニング可能なフレームワークであるUniDECを提案する。
  論文  参考訳（メタデータ） (2024-05-04T17:27:51Z)
• Adopting the Multi-answer Questioning Task with an Auxiliary Metric for Extreme Multi-label Text Classification Utilizing the Label Hierarchy [10.87653109398961]
  本稿では,過度なマルチラベル分類のための複数問合せタスクを採用する。 本研究では,提案手法と評価基準を法域に適用する。
  論文  参考訳（メタデータ） (2023-03-02T08:40:31Z)
• Complementary to Multiple Labels: A Correlation-Aware Correction Approach [65.59584909436259]
  理論上, マルチクラスCLLにおける遷移行列が, 複数ラベルの場合どのように歪むかを示す。 候補ラベルから遷移行列を推定する2段階の手法を提案する。
  論文  参考訳（メタデータ） (2023-02-25T04:48:48Z)
• Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision [53.530957567507365]
  実世界のタスクでは、各トレーニングサンプルは、1つの基底真実ラベルといくつかの偽陽性ラベルを含む候補ラベルセットに関連付けられている。 本稿では,Multi-instance partial-label learning (MIPL) などの問題を定式化する。 既存のマルチインスタンス学習アルゴリズムと部分ラベル学習アルゴリズムはMIPL問題の解法に最適である。
  論文  参考訳（メタデータ） (2022-12-18T03:28:51Z)
• MultiGuard: Provably Robust Multi-label Classification against Adversarial Examples [67.0982378001551]
  MultiGuardは、マルチラベル分類に対する敵の例に対する証明可能な堅牢な防御である。 我々の主要な理論的貢献は、入力の基底真理ラベルの数が、MultiGuardによって予測されるラベルのセットで証明可能であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T17:50:57Z)
• Combining Metric Learning and Attention Heads For Accurate and Efficient Multilabel Image Classification [0.0]
  マルチラベル分類における2つの一般的なアプローチについて再検討する。 トランスフォーマーベースヘッドはグラフベースのブランチよりも優れた結果が得られると考えられるが、適切なトレーニング戦略により、グラフベースの手法はわずかに精度の低下を示すことができると論じる。
  論文  参考訳（メタデータ） (2022-09-14T12:06:47Z)
• Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
  まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。 ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。 提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
  論文  参考訳（メタデータ） (2022-06-08T08:30:24Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Label Mask for Multi-Label Text Classification [6.742627397194543]
  本稿では,言語モデルのクローズ問題に着想を得た多言語テキスト分類モデル (LM-MTC) を提案する。 そこで,各潜在的なラベルに対して異なるトークンを割り当て,ある確率でランダムにトークンをマスクし,ラベルに基づくマスケッド言語モデル(MLM)を構築する。
  論文  参考訳（メタデータ） (2021-06-18T11:54:33Z)
• An Empirical Study on Large-Scale Multi-Label Text Classification Including Few and Zero-Shot Labels [49.036212158261215]
  大規模なMulti-label Text Classification (LMTC) は、幅広い自然言語処理 (NLP) アプリケーションを持つ。 Label-Wise Attention Networks (LWANs) を用いた最新のLMTCモデル 確率的ラベル木(PLT)に基づく階層的手法がLWANより優れていることを示す。 BERTとLWANを組み合わせた最先端手法を提案する。
  論文  参考訳（メタデータ） (2020-10-04T18:55:47Z)
• Identifying noisy labels with a transductive semi-supervised leave-one-out filter [2.4366811507669124]
  本稿では,LGC_LVOF(Local and Global Consistency (LGC) アルゴリズムに基づく一括フィルタリング手法)を導入する。 私たちのアプローチは、大量のラベルのないデータを持つデータセットに最も適していますが、ラベルは多くありません。
  論文  参考訳（メタデータ） (2020-09-24T16:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。