論文の概要: Task-Specific Embeddings for Ante-Hoc Explainable Text Classification
- arxiv url: http://arxiv.org/abs/2212.00086v1
- Date: Wed, 30 Nov 2022 19:56:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 15:47:29.450589
- Title: Task-Specific Embeddings for Ante-Hoc Explainable Text Classification
- Title（参考訳）: アンテホック記述可能なテキスト分類のためのタスク特化埋め込み
- Authors: Kishaloy Halder, Josip Krapac, Alan Akbik, Anthony Brew, Matti Lyra
- Abstract要約: テキストのタスク固有の埋め込みを学習する学習目標を提案する。
提案する目的は,同一のクラスラベルを共有するすべてのテキストが近接しているように埋め込みを学習することである。
本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範囲な実験である。
- 参考スコア（独自算出の注目度）: 6.671252951387647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current state-of-the-art approaches to text classification typically leverage
BERT-style Transformer models with a softmax classifier, jointly fine-tuned to
predict class labels of a target task. In this paper, we instead propose an
alternative training objective in which we learn task-specific embeddings of
text: our proposed objective learns embeddings such that all texts that share
the same target class label should be close together in the embedding space,
while all others should be far apart. This allows us to replace the softmax
classifier with a more interpretable k-nearest-neighbor classification
approach. In a series of experiments, we show that this yields a number of
interesting benefits: (1) The resulting order induced by distances in the
embedding space can be used to directly explain classification decisions. (2)
This facilitates qualitative inspection of the training data, helping us to
better understand the problem space and identify labelling quality issues. (3)
The learned distances to some degree generalize to unseen classes, allowing us
to incrementally add new classes without retraining the model. We present
extensive experiments which show that the benefits of ante-hoc explainability
and incremental learning come at no cost in overall classification accuracy,
thus pointing to practical applicability of our proposed approach.
- Abstract（参考訳）: テキスト分類における現在の最先端のアプローチは、通常、ターゲットタスクのクラスラベルを予測するために、ソフトマックス分類器を備えたBERTスタイルのトランスフォーマーモデルを利用する。
本稿では,テキストのタスク固有の埋め込みを学習する代替的な学習目標を提案する。提案する目的は,同じターゲットクラスラベルを共有するすべてのテキストが,埋め込み空間内で密接になるように埋め込みを学習し,他のすべてのテキストは遠く離れるべきである。
これにより、softmax分類器をより解釈可能なk-nearest-neighbor分類アプローチに置き換えることができます。
1) 埋め込み空間における距離によって引き起こされる結果の順序は, 分類決定を直接的に説明するために用いられる。
2) これはトレーニングデータの質的検査を容易にし,問題空間の理解を深め,ラベル付け品質の問題を特定するのに役立つ。
(3) 学習距離をある程度一般化することで、モデルを再トレーニングすることなく、新たなクラスを段階的に追加することができる。
本研究は, 総合的な分類精度において, アンテホックな説明可能性と漸進的な学習の利点が無コストで得られることを示す広範な実験である。
関連論文リスト
- Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Prefer to Classify: Improving Text Classifiers via Auxiliary Preference
Learning [76.43827771613127]
本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。
本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T04:04:47Z) - Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。
本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。
無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
論文 参考訳（メタデータ） (2023-03-21T07:00:35Z) - Association Graph Learning for Multi-Task Classification with Category
Shifts [68.58829338426712]
関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。
我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。
我々の手法は代表的基準よりも一貫して性能が良い。
論文 参考訳（メタデータ） (2022-10-10T12:37:41Z) - Self-Training: A Survey [5.772546394254112]
半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。
近年,自己学習手法が注目されていることは確かである。
本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
論文 参考訳（メタデータ） (2022-02-24T11:40:44Z) - Prompt-Learning for Short Text Classification [30.53216712864025]
短文では、極端に短い長さ、特徴の空間性、高いあいまいさは、分類タスクに大きな課題をもたらす。
本稿では,知識拡張に基づく素早い学習を生かした簡易な短文分類手法を提案する。
論文 参考訳（メタデータ） (2022-02-23T08:07:06Z) - Exploring Category-correlated Feature for Few-shot Image Classification [27.13708881431794]
本稿では,従来の知識として,新しいクラスとベースクラスのカテゴリ相関を探索し,シンプルで効果的な特徴補正手法を提案する。
提案手法は, 広く使用されている3つのベンチマークにおいて, 一定の性能向上が得られる。
論文 参考訳（メタデータ） (2021-12-14T08:25:24Z) - Binary Classification from Multiple Unlabeled Datasets via Surrogate Set
Classification [94.55805516167369]
我々は m 個の U 集合を $mge2$ で二進分類する新しい手法を提案する。
我々のキーとなる考え方は、サロゲート集合分類(SSC)と呼ばれる補助的分類タスクを考えることである。
論文 参考訳（メタデータ） (2021-02-01T07:36:38Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳（メタデータ） (2020-10-06T05:16:38Z) - Towards Cross-Granularity Few-Shot Learning: Coarse-to-Fine
Pseudo-Labeling with Visual-Semantic Meta-Embedding [13.063136901934865]
少ないショットラーニングは、テスト時に少数のサンプルしか持たない、新しいカテゴリに迅速に適応することを目的としている。
本稿では,より困難なシナリオ,すなわちクロスグラニュラリティ・グラニュラリティ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラティヴ・グラニュラ
画像埋め込みの類似性に応じて,各粗いクラスを擬似微細クラスにグリーディクラスタリングすることで,詳細なデータ分布を近似する。
論文 参考訳（メタデータ） (2020-07-11T03:44:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。