論文の概要: Rank over Class: The Untapped Potential of Ranking in Natural Language
Processing
- arxiv url: http://arxiv.org/abs/2009.05160v4
- Date: Fri, 3 Dec 2021 18:26:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 02:42:24.459348
- Title: Rank over Class: The Untapped Potential of Ranking in Natural Language
Processing
- Title(参考訳): クラス以上のランク:自然言語処理におけるランク付けの可能性
- Authors: Amir Atapour-Abarghouei, Stephen Bonner, Andrew Stephen McGough
- Abstract要約: 我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。
本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。
重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
- 参考スコア(独自算出の注目度): 8.637110868126546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text classification has long been a staple within Natural Language Processing
(NLP) with applications spanning across diverse areas such as sentiment
analysis, recommender systems and spam detection. With such a powerful
solution, it is often tempting to use it as the go-to tool for all NLP problems
since when you are holding a hammer, everything looks like a nail. However, we
argue here that many tasks which are currently addressed using classification
are in fact being shoehorned into a classification mould and that if we instead
address them as a ranking problem, we not only improve the model, but we
achieve better performance. We propose a novel end-to-end ranking approach
consisting of a Transformer network responsible for producing representations
for a pair of text sequences, which are in turn passed into a context
aggregating network outputting ranking scores used to determine an ordering to
the sequences based on some notion of relevance. We perform numerous
experiments on publicly-available datasets and investigate the applications of
ranking in problems often solved using classification. In an experiment on a
heavily-skewed sentiment analysis dataset, converting ranking results to
classification labels yields an approximately 22% improvement over
state-of-the-art text classification, demonstrating the efficacy of text
ranking over text classification in certain scenarios.
- Abstract(参考訳): テキスト分類は、感情分析、レコメンダシステム、スパム検出など、さまざまな分野にまたがる、自然言語処理(NLP)において、長い間重要な存在であった。
このような強力なソリューションでは、ハンマーを持っていると釘のように見えてしまうため、すべてのNLP問題に対するゴーツーツールとして使う傾向があります。
しかし、ここでは、現在分類を用いて対処されている多くのタスクが実際には分類モールドに切り替わっているため、ランキング問題として対処すれば、モデルの改善だけでなく、パフォーマンスの向上も達成できると論じている。
そこで本研究では,一対のテキストシーケンスの表現を生成責任を持つTransformerネットワークからなる新たなエンドツーエンドランキング手法を提案し,関連する概念に基づいた順序決定に使用するランキングスコアを出力するコンテキスト集約ネットワークに変換する。
公開データセットについて多数の実験を行い,分類によって解決される問題に対するランキングの適用について検討した。
重厚な感情分析データセットを用いた実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善され、特定のシナリオにおけるテキスト分類よりもテキストランク付けの有効性が示される。
関連論文リスト
- BERT Goes Off-Topic: Investigating the Domain Transfer Challenge using
Genre Classification [0.27195102129095]
トピックの分布が変化すると、分類タスクは依然としてパフォーマンスのギャップに悩まされる。
我々はこの現象を、大きなコーパスと大きなトピックセットで実証的に定量化する。
学習データセットを局所的に制御された合成テキストで強化した後、いくつかのトピックでF1スコアは最大50%改善する。
論文 参考訳(メタデータ) (2023-11-27T18:53:31Z) - Prompt Tuned Embedding Classification for Multi-Label Industry Sector
Allocation [2.2117527672874897]
本研究では,マルチラベルテキスト分類のためのPrompt Tuningとベースラインの性能をベンチマークする。
企業を投資会社の独自産業分類に分類するために適用される。
このモデルのパフォーマンスは、よく知られた企業とあまり知られていない企業の両方で一貫していることを確認します。
論文 参考訳(メタデータ) (2023-09-21T13:45:32Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳(メタデータ) (2023-07-27T07:42:44Z) - RankCSE: Unsupervised Sentence Representations Learning via Learning to
Rank [54.854714257687334]
本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。
コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。
セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
論文 参考訳(メタデータ) (2023-05-26T08:27:07Z) - Like a Good Nearest Neighbor: Practical Content Moderation and Text
Classification [66.02091763340094]
LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。
LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-02-17T15:43:29Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳(メタデータ) (2022-12-21T04:49:55Z) - Heuristic Search for Rank Aggregation with Application to Label Ranking [16.275063634853584]
本稿では,階層化問題を解くために,効果的なハイブリッド進化的ランキングアルゴリズムを提案する。
このアルゴリズムは、コンコーダントペアに基づくセマンティッククロスオーバーと、効率的な漸進的評価手法によって強化された遅延受容局所探索を特徴とする。
アルゴリズムを評価するために実験が行われ、ベンチマークインスタンス上での高い競争性能を示す。
論文 参考訳(メタデータ) (2022-01-11T11:43:17Z) - Unsupervised Label Refinement Improves Dataless Text Classification [48.031421660674745]
データレステキスト分類は、ラベル記述と組み合わせた文書にスコアを割り当てることで、文書を未確認のラベルに分類することができる。
有望ながら、それは重要なダウンストリームタスクごとにラベルセットの正確な説明に依存します。
この依存により、データレス分類器はラベル記述の選択に非常に敏感になり、実際にはデータレス分類の幅広い適用を妨げる。
論文 参考訳(メタデータ) (2020-12-08T03:37:50Z) - Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。
トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
論文 参考訳(メタデータ) (2020-10-13T15:20:32Z) - Efficient strategies for hierarchical text classification: External
knowledge and auxiliary tasks [3.5557219875516655]
我々は、あるクラス分類の上位から下位まで、文書のカテゴリを予測するための一連の推論手順を実行する。
効率的なアプローチでは、よく知られた2つの英語データセットにおいて、パラメータを劇的に減らし、過去の研究を上回りました。
論文 参考訳(メタデータ) (2020-05-05T20:22:18Z) - Joint Embedding of Words and Category Labels for Hierarchical
Multi-label Text Classification [4.2750700546937335]
階層的テキスト分類(HTC)は広く注目されており、幅広い応用の見通しがある。
本稿では,HTC の階層的微調整順序ニューロン LSTM (HFT-ONLSTM) に基づくテキストと親カテゴリの結合埋め込みを提案する。
論文 参考訳(メタデータ) (2020-04-06T11:06:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。