論文の概要: Fast Multi-Resolution Transformer Fine-tuning for Extreme Multi-label Text Classification

• arxiv url: http://arxiv.org/abs/2110.00685v1
• Date: Fri, 1 Oct 2021 23:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:58:21.539286
• Title: Fast Multi-Resolution Transformer Fine-tuning for Extreme Multi-label Text Classification
• Title（参考訳）: 極端マルチラベルテキスト分類のための高速マルチレゾルトランス微調整
• Authors: Jiong Zhang, Wei-cheng Chang, Hsiang-fu Yu, Inderjit S. Dhillon
• Abstract要約: エクストリームマルチラベルテキスト分類(XMC)は、与えられたテキスト入力に対して、非常に大きなラベルコレクションから関連するラベルを見つけようとする。 X-TransformerやLightXMLのようなトランスフォーマーベースのXMCメソッドは、他のXMCメソッドよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 54.26205045417422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Extreme multi-label text classification (XMC) seeks to find relevant labels from an extreme large label collection for a given text input. Many real-world applications can be formulated as XMC problems, such as recommendation systems, document tagging and semantic search. Recently, transformer based XMC methods, such as X-Transformer and LightXML, have shown significant improvement over other XMC methods. Despite leveraging pre-trained transformer models for text representation, the fine-tuning procedure of transformer models on large label space still has lengthy computational time even with powerful GPUs. In this paper, we propose a novel recursive approach, XR-Transformer to accelerate the procedure through recursively fine-tuning transformer models on a series of multi-resolution objectives related to the original XMC objective function. Empirical results show that XR-Transformer takes significantly less training time compared to other transformer-based XMC models while yielding better state-of-the-art results. In particular, on the public Amazon-3M dataset with 3 million labels, XR-Transformer is not only 20x faster than X-Transformer but also improves the Precision@1 from 51% to 54%.
• Abstract（参考訳）: エクストリームマルチラベルテキスト分類(XMC)は、与えられたテキスト入力に対して、非常に大きなラベルコレクションから関連するラベルを見つけようとする。 多くの現実世界のアプリケーションは、レコメンデーションシステム、文書タグ付け、セマンティック検索など、XMC問題として定式化することができる。 近年、X-TransformerやLightXMLのようなトランスフォーマーベースのXMCメソッドは、他のXMCメソッドよりも大幅に改善されている。 テキスト表現に事前訓練されたトランスフォーマーモデルを活用するにもかかわらず、大きなラベル空間上のトランスフォーマーモデルの微調整手順は、強力なGPUでさえも長い計算時間を持つ。 本稿では,xmcの目的関数に関連する一連のマルチレゾリューション目標に対して,再帰的に微調整されたトランスフォーマモデルを用いて手順を高速化する新しい再帰的アプローチであるxr-transformerを提案する。 実験の結果、XR-Transformerは、他の変圧器ベースのXMCモデルに比べてトレーニング時間を大幅に短縮し、最先端の結果が得られた。 特に、300万のラベルを持つパブリックなAmazon-3Mデータセットでは、XR-TransformerはX-Transformerの20倍高速であるだけでなく、Precision@1を51%から54%改善している。

関連論文リスト

• TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer [188.00681648113223]
  視覚的なグラウンド化のための、巧妙で効果的なTransformerベースのフレームワークについて検討する。 TransVGはトランスフォーマーによるマルチモーダル対応を確立し、ボックス座標を直接回帰することで参照領域をローカライズする。 視覚特徴符号化にViT(Vision Transformer)を活用することで、我々のフレームワークを純粋にトランスフォーマーベースにアップグレードする。
  論文  参考訳（メタデータ） (2022-06-14T06:27:38Z)
• Extreme Zero-Shot Learning for Extreme Text Classification [80.95271050744624]
  極端ゼロショットXMC (EZ-XMC) とフーショットXMC (FS-XMC) について検討した。 自己教師付きコントラスト損失のあるトランスフォーマーベースのエンコーダの事前訓練を提案する。 我々は,多スケール適応クラスタリング,ラベル正規化,擬陽性ペアによる自己学習などの手法を用いて,生テキストを徹底的に活用する事前学習手法MACLRを開発した。
  論文  参考訳（メタデータ） (2021-12-16T06:06:42Z)
• Sparse is Enough in Scaling Transformers [12.561317511514469]
  大規模なTransformerモデルは、多くのタスクにおいて印象的な結果をもたらすが、トレーニングや微調整は高価であり、デコードが遅いため、使用と研究が手に入らない。 本稿では,スパース層を用いた次世代トランスフォーマーモデルのファミリーであるScaling Transformerを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:53:46Z)
• XCiT: Cross-Covariance Image Transformers [73.33400159139708]
  本稿では,トークンではなく機能チャネルをまたいで機能する自己注意の「伝達」バージョンを提案する。 その結果、XCAはトークン数に線形複雑さを持ち、高解像度画像の効率的な処理を可能にする。
  論文  参考訳（メタデータ） (2021-06-17T17:33:35Z)
• FNet: Mixing Tokens with Fourier Transforms [0.578717214982749]
  Transformerエンコーダアーキテクチャは、限られた精度コストで大幅に高速化できることを示しています。 入力トークンを「混合」する単純な線形変換に自己着脱部分層を置き換える。 FNetと呼ばれる結果のモデルは、長い入力に対して非常に効率的にスケールします。
  論文  参考訳（メタデータ） (2021-05-09T03:32:48Z)
• Long Range Arena: A Benchmark for Efficient Transformers [115.1654897514089]
  ロングレンジアリーナベンチマーク(Long-rangearena benchmark)は、1Kドルから16Kドルまでの一連のタスクからなるスイートである。 我々は,新たに提案したベンチマークスイートを用いて,よく確立された10種類の長距離トランスフォーマーモデルを体系的に評価した。
  論文  参考訳（メタデータ） (2020-11-08T15:53:56Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。