論文の概要: Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification

• arxiv url: http://arxiv.org/abs/2204.00933v1
• Date: Sat, 2 Apr 2022 19:55:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 05:02:10.966747
• Title: Exploiting Local and Global Features in Transformer-based Extreme Multi-label Text Classification
• Title（参考訳）: 変圧器を用いた極多ラベルテキスト分類における局所的特徴とグローバルな特徴の抽出
• Authors: Ruohong Zhang, Yau-Shian Wang, Yiming Yang, Tom Vu, Likun Lei
• Abstract要約: 本稿では,Transformerモデルが生成する局所的特徴とグローバル的特徴を組み合わせることで,分類器の予測能力を向上させる手法を提案する。 本実験は,提案モデルがベンチマークデータセットの最先端手法よりも優れているか,あるいは同等であることを示す。
• 参考スコア（独自算出の注目度）: 28.28186933768281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extreme multi-label text classification (XMTC) is the task of tagging each document with the relevant labels from a very large space of predefined categories. Recently, large pre-trained Transformer models have made significant performance improvements in XMTC, which typically use the embedding of the special CLS token to represent the entire document semantics as a global feature vector, and match it against candidate labels. However, we argue that such a global feature vector may not be sufficient to represent different granularity levels of semantics in the document, and that complementing it with the local word-level features could bring additional gains. Based on this insight, we propose an approach that combines both the local and global features produced by Transformer models to improve the prediction power of the classifier. Our experiments show that the proposed model either outperforms or is comparable to the state-of-the-art methods on benchmark datasets.
• Abstract（参考訳）: エクストリームマルチラベルテキスト分類(extreme multi-label text classification, xmtc)は、定義済みのカテゴリの非常に大きな空間から関連するラベルを各ドキュメントにタグ付けするタスクである。 近年,大規模な事前学習型トランスフォーマーモデルでは,XMTCの性能が大幅に向上している。XMTCは特別なCRSトークンを埋め込んで,文書のセマンティクス全体をグローバルな特徴ベクトルとして表現し,候補ラベルと比較する。 しかし、このようなグローバルな特徴ベクトルは文書内の意味論の粒度の異なるレベルを表現するには不十分であり、それを局所的な単語レベルの特徴と補完することは、さらなる利益をもたらす可能性があると論じる。 そこで本研究では,Transformerモデルによる局所的特徴とグローバル的特徴を組み合わせ,分類器の予測能力を向上させる手法を提案する。 本実験は,提案モデルがベンチマークデータセットの最先端手法よりも優れているか,あるいは同等であることを示す。

関連論文リスト

• Embracing Diversity: Interpretable Zero-shot classification beyond one vector per class [16.101460010750458]
  クラス内の多様性を表現するために、ゼロショット分類は単一のベクトルを超えるべきであると論じる。 そこで本研究では,ゼロショット設定において,推論属性を用いたクラス内の多様性のエンコードと説明を行う手法を提案する。 提案手法は,大規模なデータセット群に対して,標準ゼロショット分類よりも一貫して優れることがわかった。
  論文  参考訳（メタデータ） (2024-04-25T16:29:06Z)
• MCTformer+: Multi-Class Token Transformer for Weakly Supervised Semantic Segmentation [90.73815426893034]
  弱教師付きセマンティックセグメンテーションの強化を目的としたトランスフォーマーベースのフレームワークを提案する。 複数のクラストークンを組み込んだマルチクラストークン変換器を導入し,パッチトークンとのクラス認識インタラクションを実現する。 識別型クラストークンの学習を促進するために,Contrastive-Class-Token (CCT)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-06T03:30:20Z)
• TART: Improved Few-shot Text Classification Using Task-Adaptive Reference Transformation [23.02986307143718]
  本稿では,タスク適応参照変換(TART)ネットワークを提案する。 我々のモデルは、20のNewsgroupsデータセット上の1ショットと5ショットの分類において、最先端の手法を7.4%、そして5.4%上回る。
  論文  参考訳（メタデータ） (2023-06-03T18:38:02Z)
• Retrieval-augmented Multi-label Text Classification [20.100081284294973]
  マルチラベルテキスト分類は、大きなラベルセットの設定において難しい課題である。 Retrieval augmentationは、分類モデルのサンプル効率を改善することを目的としている。 本手法は,法および生物医学領域の4つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2023-05-22T14:16:23Z)
• HGFormer: Hierarchical Grouping Transformer for Domain Generalized Semantic Segmentation [113.6560373226501]
  本研究は領域一般化設定の下で意味的セグメンテーションを研究する。 本稿では,階層型グループ化変換器(HGFormer)を提案する。 実験により、HGFormerはピクセルごとの分類法やフラットグルーピング変換器よりも、より堅牢なセマンティックセグメンテーション結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-05-22T13:33:41Z)
• Adversarial Adaptation for French Named Entity Recognition [21.036698406367115]
  類似の領域や一般コーパスに対する逆適応を用いたトランスフォーマーに基づくフランス語NERアプローチを提案する。 我々のアプローチでは、同じドメインや混合ドメインから大規模にラベル付けされていないコーパスを使って、より良い機能を学ぶことができます。 また, 大規模未ラベルコーパスに対する逆適応は, より小さなコーパスで事前学習したTransformerモデルを用いて, 性能低下を軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-12T18:58:36Z)
• Multi-class Token Transformer for Weakly Supervised Semantic Segmentation [94.78965643354285]
  弱教師付きセマンティックセグメンテーション(WSSS)のための擬似ラベルとしてクラス固有のオブジェクトローカライゼーションマップを学習するトランスフォーマーベースのフレームワークを提案する。 標準視覚変換器の1クラストークンの付随領域を利用してクラス非依存のローカライゼーションマップを作成できることに着想を得て、トランスフォーマーモデルがより識別的なオブジェクトローカライゼーションのためにクラス固有の注意を効果的に捉えることができるかどうかを検討する。 提案手法は, PASCAL VOCおよびMS COCOデータセットにおいて, クラス活性化マッピング(CAM)法を完全に補完するものである。
  論文  参考訳（メタデータ） (2022-03-06T07:18:23Z)
• Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
  ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。 これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。 結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-02-04T07:19:09Z)
• Generalized Funnelling: Ensemble Learning and Heterogeneous Document Embeddings for Cross-Lingual Text Classification [78.83284164605473]
  emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。 Emph Generalized Funnelling (gFun) はFunの一般化である。 gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2021-09-17T23:33:04Z)
• Learning to Predict Context-adaptive Convolution for Semantic Segmentation [66.27139797427147]
  長距離コンテキスト情報は、高性能なセマンティックセグメンテーションを実現するために不可欠である。 空間的に変化する特徴重み付けベクトルを予測するためのコンテキスト適応畳み込みネットワーク(CaC-Net)を提案する。 当社のCaC-Netは,3つの公開データセット上でのセグメンテーション性能に優れています。
  論文  参考訳（メタデータ） (2020-04-17T13:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。