論文の概要: Label Attention Network for sequential multi-label classification: you were looking at a wrong self-attention

• arxiv url: http://arxiv.org/abs/2303.00280v2
• Date: Tue, 4 Apr 2023 20:07:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-06 15:19:31.228261
• Title: Label Attention Network for sequential multi-label classification: you were looking at a wrong self-attention
• Title（参考訳）: 逐次多ラベル分類のためのラベルアテンションネットワーク:間違った自己アテンションを見て
• Authors: Elizaveta Kovtun, Galina Boeva, Artem Zabolotnyi, Evgeny Burnaev, Martin Spindler, and Alexey Zaytsev
• Abstract要約: グループ内のアイテムを予測するためのラベルアテンション・ネットワークを提案する。 実験的な証拠は、LANETが確立されたモデルの性能より優れていることを示唆している。 LANETの実装により、より広範な利用が容易になる。
• 参考スコア（独自算出の注目度）: 10.301801246326209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most of the available user information can be represented as a sequence of timestamped events. Each event is assigned a set of categorical labels whose future structure is of great interest. For instance, our goal is to predict a group of items in the next customer's purchase or tomorrow's client transactions. This is a multi-label classification problem for sequential data. Modern approaches focus on transformer architecture for sequential data introducing self-attention for the elements in a sequence. In that case, we take into account events' time interactions but lose information on label inter-dependencies. Motivated by this shortcoming, we propose leveraging a self-attention mechanism over labels preceding the predicted step. As our approach is a Label-Attention NETwork, we call it LANET. Experimental evidence suggests that LANET outperforms the established models' performance and greatly captures interconnections between labels. For example, the micro-AUC of our approach is $0.9536$ compared to $0.7501$ for a vanilla transformer. We provide an implementation of LANET to facilitate its wider usage.
• Abstract（参考訳）: 利用可能なユーザ情報のほとんどは、タイムスタンプされたイベントのシーケンスとして表現することができる。 各イベントは、将来の構造が非常に興味を持つカテゴリラベルのセットに割り当てられる。 例えば、私たちの目標は、次の顧客の購入や明日のクライアントトランザクションにおけるアイテムのグループを予測することです。 これはシーケンシャルデータに対するマルチラベル分類問題である。 現代のアプローチでは、シーケンス内の要素に自己アテンションを導入するシーケンシャルデータのためのトランスフォーマーアーキテクチャにフォーカスしている。 この場合、イベントの時間的相互作用を考慮するが、ラベル間の依存性に関する情報を失う。 この欠点に乗じて、予測ステップに先立ってラベルよりも自己認識機構を活用することを提案する。 当社のアプローチは Label-Attention NETwork なので、LANET と呼んでいます。 実験的な証拠は、LANETが確立されたモデルの性能より優れており、ラベル間の相互接続を大きく捉えていることを示している。 例えば、我々のアプローチのマイクロAUCは0.9536ドル、バニラ変圧器は0.7501ドルである。 LANETの実装により、より広範な利用が容易になる。

関連論文リスト

• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Exploring the Limits of Historical Information for Temporal Knowledge Graph Extrapolation [59.417443739208146]
  本稿では,歴史的コントラスト学習の新しい学習枠組みに基づくイベント予測モデルを提案する。 CENETは、最も潜在的なエンティティを識別するために、歴史的および非歴史的依存関係の両方を学ぶ。 提案したモデルを5つのベンチマークグラフで評価する。
  論文  参考訳（メタデータ） (2023-08-29T03:26:38Z)
• Knowledge Graph Completion Models are Few-shot Learners: An Empirical Study of Relation Labeling in E-commerce with LLMs [16.700089674927348]
  大規模言語モデル(LLM)は多くの自然言語処理タスクにおいて驚くべき結果を示している。 本稿では,自然言語における強力な学習能力とラベル付きデータを用いた製品タイプ間の関係予測の有効性について検討する。 以上の結果から,LLMは電子商取引KGのリレーショナルラベリングにおいて既存のKG完成モデルよりも大幅に優れており,人間のラベリングに取って代わるほど高い性能を示した。
  論文  参考訳（メタデータ） (2023-05-17T00:08:36Z)
• Enhancing Label Sharing Efficiency in Complementary-Label Learning with Label Augmentation [92.4959898591397]
  学習中に近隣の事例における補完ラベルの暗黙的な共有を分析した。 相補的なラベル拡張による共有効率を向上させる新しい手法を提案する。 実験結果から,従来のCLLモデルよりも相補的ラベル拡張により経験的性能が向上することが確認された。
  論文  参考訳（メタデータ） (2023-05-15T04:43:14Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Temporal Knowledge Graph Reasoning with Historical Contrastive Learning [24.492458924487863]
  我々はContrastive Event Network(CENET)と呼ばれる新しいイベント予測モデルを提案する。 CENETは、ヒストリと非ヒストリの両方の依存関係を学び、与えられたクエリに最もよくマッチする最も潜在的なエンティティを識別する。 推論プロセスの間、CENETは最終的な結果を生成するためにマスクベースの戦略を採用している。
  論文  参考訳（メタデータ） (2022-11-20T08:32:59Z)
• Effective Token Graph Modeling using a Novel Labeling Strategy for Structured Sentiment Analysis [39.770652220521384]
  構造化感情分析の最先端モデルでは、タスクを依存性解析の問題として捉えている。 スパン予測とスパン関係予測のラベル比は不均衡である。 依存グラフの2つのノードは複数の弧を持つことができないため、重複した感情は認識できない。
  論文  参考訳（メタデータ） (2022-03-21T08:23:03Z)
• Enabling Efficiency-Precision Trade-offs for Label Trees in Extreme Classification [43.840626501982314]
  Extreme Multi-label Classification (XMC) は、非常に大きなラベルセットから関連するラベルのサブセットでデータポイントをタグ付けできるモデルを学ぶことを目的としている。 本稿では,両者の利点を交換する中間操作点を構築するための,効率的な情報理論に基づくアルゴリズムを提案する。 提案手法は,Parabelと同じ精度を維持しながら,予測レイテンシのプロキシを最大28%削減することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:02:09Z)
• ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
  画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。 我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。 提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
  論文  参考訳（メタデータ） (2020-08-14T09:11:18Z)
• Social Adaptive Module for Weakly-supervised Group Activity Recognition [143.68241396839062]
  本稿では、弱教師付きグループ活動認識(GAR)と呼ばれる新しいタスクを提案する。 従来のGARタスクとは違い、ビデオレベルラベルのみが利用可能であるが、トレーニングデータにおいても、各フレーム内の重要人物は提供されない。 これにより、大規模なNBAデータセットの収集とアノテートが容易になり、GARに新たな課題が生まれます。
  論文  参考訳（メタデータ） (2020-07-18T16:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。