論文の概要: XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners
- arxiv url: http://arxiv.org/abs/2310.05502v4
- Date: Sun, 15 Dec 2024 14:58:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:51:31.959856
- Title: XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners
- Title（参考訳）: XAL: 説明可能なアクティブラーニングは、低リソースラーナーをより良くする
- Authors: Yun Luo, Zhen Yang, Fandong Meng, Yingjie Li, Fang Guo, Qinglin Qi, Jie Zhou, Yue Zhang,
- Abstract要約: 低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
- 参考スコア（独自算出の注目度）: 71.8257151788923
- License:
- Abstract: Active learning (AL), which aims to construct an effective training set by iteratively curating the most formative unlabeled data for annotation, has been widely used in low-resource tasks. Most active learning techniques in classification rely on the model's uncertainty or disagreement to choose unlabeled data, suffering from the problem of over-confidence in superficial patterns and a lack of exploration. Inspired by the cognitive processes in which humans deduce and predict through causal information, we take an initial attempt towards integrating rationales into AL and propose a novel Explainable Active Learning framework (XAL) for low-resource text classification, which aims to encourage classifiers to justify their inferences and delve into unlabeled data for which they cannot provide reasonable explanations. Specifically, besides using a pre-trained bi-directional encoder for classification, we employ a pre-trained uni-directional decoder to generate and score the explanation. We further facilitate the alignment of the model with human reasoning preference through a proposed ranking loss. During the selection of unlabeled data, the predicted uncertainty of the encoder and the explanation score of the decoder complement each other as the final metric to acquire informative data. Extensive experiments on six datasets show that XAL achieves consistent improvement over 9 strong baselines. Analysis indicates that the proposed method can generate corresponding explanations for its predictions.
- Abstract（参考訳）: アノテーションのために最も形式的でないデータを反復的にキュレートすることで効果的なトレーニングセットを構築することを目的としたアクティブラーニング(AL)は、低リソースタスクで広く利用されている。
分類における最も活発な学習技術は、表層パターンの過度な信頼の問題と探索の欠如に悩まされ、ラベルのないデータを選択するためのモデルの不確実性や不一致に依存している。
人間が因果情報を通じて推論し予測する認知プロセスに触発されて、我々は論理をALに統合する最初の試みを行い、低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案します。
具体的には、事前学習された双方向エンコーダの分類に加えて、事前学習された一方向デコーダを用いて説明を生成し、スコア付けする。
提案するランキング損失により、モデルと人間の推論的嗜好との整合をさらに促進する。
ラベルなしデータの選択中、エンコーダの予測不確かさとデコーダの説明スコアが最終指標として補完し、情報データを取得する。
6つのデータセットに対する大規模な実験は、XALが9つの強いベースラインに対して一貫した改善を達成していることを示している。
解析により,提案手法は,その予測に対して対応する説明を生成できることが示唆された。
関連論文リスト
- Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling [6.771578432805963]
アクティブラーニングは、ラベルなしサンプルの選択を自動化することで、データラベリングに関わる労力を軽減することを目的としている。
トレーニング中に大量のラベルのないデータの使用を大幅に改善する新しい手法を導入する。
様々な画像分類およびセグメンテーションベンチマークデータセットにおける技術状況に対するアプローチの優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-23T00:35:07Z) - Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。
実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
論文 参考訳（メタデータ） (2024-08-16T05:11:52Z) - Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。
本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。
Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-21T09:07:15Z) - NorMatch: Matching Normalizing Flows with Discriminative Classifiers for
Semi-Supervised Learning [8.749830466953584]
Semi-Supervised Learning (SSL)は、小さなラベル付きセットと大量のラベルなしデータを使ってモデルを学習することを目的としている。
この作業では、NorMatchというSSLの新しいフレームワークを紹介します。
数値的および視覚的な結果を通して、NorMatchはいくつかのデータセットで最先端のパフォーマンスを達成することを実証する。
論文 参考訳（メタデータ） (2022-11-17T15:39:18Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。
注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。
当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
論文 参考訳（メタデータ） (2020-12-21T12:25:04Z) - Self-Supervised Relational Reasoning for Representation Learning [5.076419064097733]
自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。
本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。
提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
論文 参考訳（メタデータ） (2020-06-10T14:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。