論文の概要: A Study on the Autoregressive and non-Autoregressive Multi-label Learning

• arxiv url: http://arxiv.org/abs/2012.01711v1
• Date: Thu, 3 Dec 2020 05:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-23 14:49:57.846840
• Title: A Study on the Autoregressive and non-Autoregressive Multi-label Learning
• Title（参考訳）: 自己回帰学習と非自己回帰学習に関する研究
• Authors: Elham J. Barezi, Iacer Calixto, Kyunghyun Cho, Pascale Fung
• Abstract要約: 本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
• 参考スコア（独自算出の注目度）: 77.11075863067131
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme classification tasks are multi-label tasks with an extremely large number of labels (tags). These tasks are hard because the label space is usually (i) very large, e.g. thousands or millions of labels, (ii) very sparse, i.e. very few labels apply to each input document, and (iii) highly correlated, meaning that the existence of one label changes the likelihood of predicting all other labels. In this work, we propose a self-attention based variational encoder-model to extract the label-label and label-feature dependencies jointly and to predict labels for a given input. In more detail, we propose a non-autoregressive latent variable model and compare it to a strong autoregressive baseline that predicts a label based on all previously generated labels. Our model can therefore be used to predict all labels in parallel while still including both label-label and label-feature dependencies through latent variables, and compares favourably to the autoregressive baseline. We apply our models to four standard extreme classification natural language data sets, and one news videos dataset for automated label detection from a lexicon of semantic concepts. Experimental results show that although the autoregressive models, where use a given order of the labels for chain-order label prediction, work great for the small scale labels or the prediction of the highly ranked label, but our non-autoregressive model surpasses them by around 2% to 6% when we need to predict more labels, or the dataset has a larger number of the labels.
• Abstract（参考訳）: 極端分類タスクは、非常に多くのラベル(タグ)を持つマルチラベルタスクである。 これらのタスクは、ラベル空間は通常(i)非常に大きいので難しい。 何千、何百万というラベル(ii)は非常にまばらです。 非常に少数のラベルが各入力文書に適用され、(iii)高い相関関係があり、1つのラベルの存在が他のすべてのラベルを予測する可能性を変化させます。 本研究では,ラベルとラベルの依存関係を共同で抽出し,与えられた入力に対してラベルを予測するために,自己アテンションに基づく変分エンコーダモデルを提案する。 より詳しくは、非自己回帰潜在変数モデルを提案し、前述した全てのラベルに基づいてラベルを予測する強力な自己回帰ベースラインと比較する。 そこで本モデルでは,ラベルラベルとラベル機能の両方の依存性を潜伏変数を通じて含みながら,すべてのラベルを並列に予測することができる。 我々は,4つの標準極端分類自然言語データセットと,セマンティック概念の語彙からラベルの自動検出のためのニュースビデオデータセットに適用した。 実験結果から,チェーン順ラベルの予測にラベルの所定の順序を使用する自己回帰モデルは,小規模ラベルや高ランクラベルの予測に優れるが,我々の非自己回帰モデルは,より多くのラベルを予測する必要がある場合,約2%から6%の精度でラベルを上回り,データセットはより多くのラベルを持つことがわかった。

関連論文リスト

• Imprecise Label Learning: A Unified Framework for Learning with Various Imprecise Label Configurations [91.67511167969934]
  imprecise label learning (ILL)は、様々な不正確なラベル構成で学習を統合するためのフレームワークである。 我々は、ILLが部分ラベル学習、半教師付き学習、雑音ラベル学習にシームレスに適応できることを実証した。
  論文  参考訳（メタデータ） (2023-05-22T04:50:28Z)
• Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification [0.0]
  グラフ畳み込みネットワークを活用し,ラベル間の統計的関係に基づいて隣接行列を構築する。 我々は,Bhattacharyya距離を設定された予測ネットワークの出力分布に適用することにより,リコール能力を向上する。
  論文  参考訳（メタデータ） (2023-04-14T09:31:17Z)
• Bridging the Gap between Model Explanations in Partially Annotated Multi-label Classification [85.76130799062379]
  偽陰性ラベルがモデルの説明にどのように影響するかを考察する。 本稿では,部分ラベルで学習したモデルの属性スコアを向上し,その説明をフルラベルで学習したモデルと類似させる。
  論文  参考訳（メタデータ） (2023-04-04T14:00:59Z)
• Pairwise Instance Relation Augmentation for Long-tailed Multi-label Text Classification [38.66674700075432]
  Pairwise Instance Relation Augmentation Network (PIRAN) を提案する。 PIRANはSOTA法を一貫して上回り、テールラベルの性能を劇的に向上させる。
  論文  参考訳（メタデータ） (2022-11-19T12:45:54Z)
• Group is better than individual: Exploiting Label Topologies and Label Relations for Joint Multiple Intent Detection and Slot Filling [39.76268402567324]
  我々は2種類のトポロジーを含む異種ラベルグラフ(HLG)を構築した。 ラベル相関を利用してセマンティック・ラベルの相互作用を強化する。 また,ラベルに依存しないデコード機構を提案し,デコードのためのラベル相関をさらに活用する。
  論文  参考訳（メタデータ） (2022-10-19T08:21:43Z)
• Multi-label Classification with High-rank and High-order Label Correlations [62.39748565407201]
  従来の手法では, ラベル行列を低ランク行列係数化した潜在ラベル空間に変換することにより, 高階ラベル相関を捕えることができた。 本稿では,高次ラベル相関を明示的に記述する簡易かつ効果的な手法を提案し,同時にラベル行列の高次値を維持する。 12個のベンチマークデータセットの比較研究により,マルチラベル分類における提案アルゴリズムの有効性が検証された。
  論文  参考訳（メタデータ） (2022-07-09T05:15:31Z)
• Acknowledging the Unknown for Multi-label Learning with Single Positive Labels [65.5889334964149]
  伝統的に、全ての無注釈ラベルは、単一正のマルチラベル学習(SPML)において負のラベルとして仮定される。 本研究では, 予測確率のエントロピーを最大化するエントロピー最大化(EM)損失を提案する。 非通知ラベルの正負ラベル不均衡を考慮し、非対称耐性戦略とより精密な監視を行うセルフペースト手順を備えた非対称擬似ラベル(APL)を提案する。
  論文  参考訳（メタデータ） (2022-03-30T11:43:59Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。