論文の概要: Label Attention Network for sequential multi-label classification: you
were looking at a wrong self-attention
- arxiv url: http://arxiv.org/abs/2303.00280v2
- Date: Tue, 4 Apr 2023 20:07:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 15:19:31.228261
- Title: Label Attention Network for sequential multi-label classification: you
were looking at a wrong self-attention
- Title(参考訳): 逐次多ラベル分類のためのラベルアテンションネットワーク:間違った自己アテンションを見て
- Authors: Elizaveta Kovtun, Galina Boeva, Artem Zabolotnyi, Evgeny Burnaev,
Martin Spindler, and Alexey Zaytsev
- Abstract要約: グループ内のアイテムを予測するためのラベルアテンション・ネットワークを提案する。
実験的な証拠は、LANETが確立されたモデルの性能より優れていることを示唆している。
LANETの実装により、より広範な利用が容易になる。
- 参考スコア(独自算出の注目度): 10.301801246326209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most of the available user information can be represented as a sequence of
timestamped events. Each event is assigned a set of categorical labels whose
future structure is of great interest. For instance, our goal is to predict a
group of items in the next customer's purchase or tomorrow's client
transactions. This is a multi-label classification problem for sequential data.
Modern approaches focus on transformer architecture for sequential data
introducing self-attention for the elements in a sequence. In that case, we
take into account events' time interactions but lose information on label
inter-dependencies. Motivated by this shortcoming, we propose leveraging a
self-attention mechanism over labels preceding the predicted step. As our
approach is a Label-Attention NETwork, we call it LANET. Experimental evidence
suggests that LANET outperforms the established models' performance and greatly
captures interconnections between labels. For example, the micro-AUC of our
approach is $0.9536$ compared to $0.7501$ for a vanilla transformer. We provide
an implementation of LANET to facilitate its wider usage.
- Abstract(参考訳): 利用可能なユーザ情報のほとんどは、タイムスタンプされたイベントのシーケンスとして表現することができる。
各イベントは、将来の構造が非常に興味を持つカテゴリラベルのセットに割り当てられる。
例えば、私たちの目標は、次の顧客の購入や明日のクライアントトランザクションにおけるアイテムのグループを予測することです。
これはシーケンシャルデータに対するマルチラベル分類問題である。
現代のアプローチでは、シーケンス内の要素に自己アテンションを導入するシーケンシャルデータのためのトランスフォーマーアーキテクチャにフォーカスしている。
この場合、イベントの時間的相互作用を考慮するが、ラベル間の依存性に関する情報を失う。
この欠点に乗じて、予測ステップに先立ってラベルよりも自己認識機構を活用することを提案する。
当社のアプローチは Label-Attention NETwork なので、LANET と呼んでいます。
実験的な証拠は、LANETが確立されたモデルの性能より優れており、ラベル間の相互接続を大きく捉えていることを示している。
例えば、我々のアプローチのマイクロAUCは0.9536ドル、バニラ変圧器は0.7501ドルである。
LANETの実装により、より広範な利用が容易になる。
関連論文リスト
- Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳(メタデータ) (2023-03-23T12:39:20Z) - Complementary to Multiple Labels: A Correlation-Aware Correction
Approach [65.59584909436259]
理論上, マルチクラスCLLにおける遷移行列が, 複数ラベルの場合どのように歪むかを示す。
候補ラベルから遷移行列を推定する2段階の手法を提案する。
論文 参考訳(メタデータ) (2023-02-25T04:48:48Z) - Group is better than individual: Exploiting Label Topologies and Label
Relations for Joint Multiple Intent Detection and Slot Filling [39.76268402567324]
我々は2種類のトポロジーを含む異種ラベルグラフ(HLG)を構築した。
ラベル相関を利用してセマンティック・ラベルの相互作用を強化する。
また,ラベルに依存しないデコード機構を提案し,デコードのためのラベル相関をさらに活用する。
論文 参考訳(メタデータ) (2022-10-19T08:21:43Z) - Large Loss Matters in Weakly Supervised Multi-Label Classification [50.262533546999045]
まず、観測されていないラベルを負のラベルとみなし、Wタスクをノイズの多いマルチラベル分類にキャストする。
ノイズラベルを記憶しないために,大規模な損失サンプルを拒絶または補正する新しいW法を提案する。
提案手法は, 弱教師付きマルチラベル分類において, 大きな損失を適切に処理することが重要であることを検証した。
論文 参考訳(メタデータ) (2022-06-08T08:30:24Z) - Enhancing Label Correlation Feedback in Multi-Label Text Classification
via Multi-Task Learning [6.1538971100140145]
ラベル相関フィードバックを高めるために,マルチタスク学習を用いた新しい手法を提案する。
本稿では,ラベル相関学習を強化するための2つの補助ラベル共起予測タスクを提案する。
論文 参考訳(メタデータ) (2021-06-06T12:26:14Z) - Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。
最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。
疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
論文 参考訳(メタデータ) (2021-03-23T07:57:39Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳(メタデータ) (2020-12-03T05:41:44Z) - Multi-label Zero-shot Classification by Learning to Transfer from
External Knowledge [36.04579549557464]
マルチラベルゼロショット分類は、入力画像に対する複数の未知のクラスラベルを予測することを目的としている。
本稿では,外部知識の伝達を学習することで,新たなゼロショット分類フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-30T17:26:46Z) - Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。
提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。
マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
論文 参考訳(メタデータ) (2020-04-20T12:13:43Z) - Multi-Label Text Classification using Attention-based Graph Neural
Network [0.0]
ラベル間の注意的依存構造を捉えるために,グラフアテンションネットワークに基づくモデルを提案する。
提案モデルでは, 従来の最先端モデルと比較して, 類似あるいは良好な性能が得られた。
論文 参考訳(メタデータ) (2020-03-22T17:12:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。