論文の概要: OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification

• arxiv url: http://arxiv.org/abs/2210.14523v1
• Date: Wed, 26 Oct 2022 07:25:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:54:58.451266
• Title: OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification
• Title（参考訳）: OTSeq2Set: 極多ラベルテキスト分類のための最適トランスポート拡張シーケンス-セットモデル
• Authors: Jie Cao, Yin Zhang
• Abstract要約: XMTC (Extreme Multi-label text classification) は、大規模ラベルコレクションから最も関連性の高いサブセットラベルを見つけるタスクである。 OTSeq2Set という名前の XMTC タスクに対する自己回帰シーケンス・ツー・セットモデルを提案する。 本モデルは,学生強制スキームにおける予測を生成し,両部マッチングに基づく損失関数を用いて学習する。
• 参考スコア（独自算出の注目度）: 9.990725102725916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme multi-label text classification (XMTC) is the task of finding the most relevant subset labels from an extremely large-scale label collection. Recently, some deep learning models have achieved state-of-the-art results in XMTC tasks. These models commonly predict scores for all labels by a fully connected layer as the last layer of the model. However, such models can't predict a relatively complete and variable-length label subset for each document, because they select positive labels relevant to the document by a fixed threshold or take top k labels in descending order of scores. A less popular type of deep learning models called sequence-to-sequence (Seq2Seq) focus on predicting variable-length positive labels in sequence style. However, the labels in XMTC tasks are essentially an unordered set rather than an ordered sequence, the default order of labels restrains Seq2Seq models in training. To address this limitation in Seq2Seq, we propose an autoregressive sequence-to-set model for XMTC tasks named OTSeq2Set. Our model generates predictions in student-forcing scheme and is trained by a loss function based on bipartite matching which enables permutation-invariance. Meanwhile, we use the optimal transport distance as a measurement to force the model to focus on the closest labels in semantic label space. Experiments show that OTSeq2Set outperforms other competitive baselines on 4 benchmark datasets. Especially, on the Wikipedia dataset with 31k labels, it outperforms the state-of-the-art Seq2Seq method by 16.34% in micro-F1 score. The code is available at https://github.com/caojie54/OTSeq2Set.
• Abstract（参考訳）: extreme multi-label text classification (xmtc) は、非常に大規模なラベルコレクションから最も関連するサブセットラベルを見つける作業である。 近年、いくつかのディープラーニングモデルはXMTCタスクで最先端の結果を得た。 これらのモデルは通常、モデルの最後の層として完全に連結された層によって全てのラベルのスコアを予測する。 しかし、そのようなモデルは、文書に関連する正のラベルを一定の閾値で選択したり、スコアの順にトップkのラベルを取るため、文書ごとに比較的完全で可変長のラベルサブセットを予測できない。 seq2seq(sequence-to-sequence)と呼ばれる、あまり一般的ではないディープラーニングモデルでは、シーケンススタイルの可変長正のラベルの予測に重点を置いている。 しかし、xmtcタスクのラベルは本質的に順序列ではなく順序付けされていない集合であり、ラベルのデフォルト順序はトレーニング中のseq2seqモデルを抑制する。 seq2seqのこの制限に対処するために、otseq2setと呼ばれるxmtcタスクの自己回帰シーケンスツーセットモデルを提案する。 本モデルは,学生の強制スキームにおける予測を生成し,置換不変性を実現する二分法マッチングに基づく損失関数を用いて学習する。 一方、最適輸送距離は、モデルにセマンティックラベル空間の最も近いラベルにフォーカスするよう強制するために用いられる。 実験によると、OTSeq2Setは4つのベンチマークデータセットで他の競合ベースラインを上回っている。 特に31kラベルのウィキペディアデータセットでは、最先端のSeq2Seqメソッドを16.34%のマイクロF1スコアで上回っている。 コードはhttps://github.com/caojie54/OTSeq2Setで入手できる。

関連論文リスト

• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• Ground Truth Inference for Weakly Supervised Entity Matching [76.6732856489872]
  弱監督タスクのための単純だが強力なラベル付けモデルを提案する。 次に、エンティティマッチングのタスクに特化してラベルモデルを調整します。 その結果,従来の手法よりもF1スコアが9%高い結果が得られた。
  論文  参考訳（メタデータ） (2022-11-13T17:57:07Z)
• Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models [105.4590533269863]
  完全自動プロンプト方式であるAutoSeqを提案する。 我々はシーケンス・ツー・シーケンス・モデルに自然言語プロンプトを採用する。 本手法は,数ショット学習におけるシーケンス・ツー・シーケンスモデルの可能性を明らかにする。
  論文  参考訳（メタデータ） (2022-09-20T01:35:04Z)
• Conditional set generation using Seq2seq models [52.516563721766445]
  条件セット生成は、トークンの入力シーケンスからセットへのマッピングを学習する。 シーケンス・ツー・シーケンス(Seq2seq)モデルは、モデルセット生成において一般的な選択である。 本稿では,ラベル順序空間上の情報的順序を効果的に抽出する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-25T04:17:50Z)
• Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning [6.1538971100140145]
  ラベル相関フィードバックを高めるために,マルチタスク学習を用いた新しい手法を提案する。 本稿では,ラベル相関学習を強化するための2つの補助ラベル共起予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-06-06T12:26:14Z)
• GNN-XML: Graph Neural Networks for Extreme Multi-label Text Classification [23.79498916023468]
  extreme multi-label text classification (xmtc) は、非常に大きなラベルセットから最も関連するラベルのサブセットでテキストインスタンスをタグ付けすることを目的としている。 GNN-XMLはXMTC問題に適したスケーラブルなグラフニューラルネットワークフレームワークである。
  論文  参考訳（メタデータ） (2020-12-10T18:18:34Z)
• A Study on the Autoregressive and non-Autoregressive Multi-label Learning [77.11075863067131]
  本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。 したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
  論文  参考訳（メタデータ） (2020-12-03T05:41:44Z)
• Semantic Label Smoothing for Sequence to Sequence Problems [54.758974840974425]
  そこで本研究では,対象シーケンスとn-gramの重なり合いが十分である,エンハンウェル上のスムーズな関連配列を生成する手法を提案する。 提案手法は, 異なるデータセット上での最先端技術よりも一貫した, 顕著な改善を示す。
  論文  参考訳（メタデータ） (2020-10-15T00:31:15Z)
• Pretrained Generalized Autoregressive Model with Adaptive Probabilistic Label Clusters for Extreme Multi-label Text Classification [24.665469885904145]
  本稿では,APLC-XLNetと呼ばれる新しいディープラーニング手法を提案する。 我々のアプローチは、最近リリースされた一般化自己回帰事前学習モデル(XLNet)を微調整し、入力テキストの密度の高い表現を学習する。 5つのベンチマークデータセットを用いて実験を行い、我々のアプローチが新たな最先端の結果を得たことを示す。
  論文  参考訳（メタデータ） (2020-07-05T20:19:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。