論文の概要: XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners

• arxiv url: http://arxiv.org/abs/2310.05502v1
• Date: Mon, 9 Oct 2023 08:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 07:01:35.334512
• Title: XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners
• Title（参考訳）: XAL: 説明可能なアクティブラーニングは、低リソースラーナーをより良くする
• Authors: Yun Luo and Zhen Yang and Fandong Meng and Yingjie Li and Fang Guo and Qinglin Qi and Jie Zhou and Yue Zhang
• Abstract要約: アクティブラーニングは、アノテーションのための最も情報に富まないデータを反復的にキュレートすることで、効果的なトレーニングセットを構築することを目的としている。 これまでの研究は、既存のモデルでは予測の不確実性を定量化できないことを示している。 低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
• 参考スコア（独自算出の注目度）: 74.52678460213316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active learning aims to construct an effective training set by iteratively curating the most informative unlabeled data for annotation, which is practical in low-resource tasks. Most active learning techniques in classification rely on the model's uncertainty or disagreement to choose unlabeled data. However, previous work indicates that existing models are poor at quantifying predictive uncertainty, which can lead to over-confidence in superficial patterns and a lack of exploration. Inspired by the cognitive processes in which humans deduce and predict through causal information, we propose a novel Explainable Active Learning framework (XAL) for low-resource text classification, which aims to encourage classifiers to justify their inferences and delve into unlabeled data for which they cannot provide reasonable explanations. Specifically, besides using a pre-trained bi-directional encoder for classification, we employ a pre-trained uni-directional decoder to generate and score the explanation. A ranking loss is proposed to enhance the decoder's capability in scoring explanations. During the selection of unlabeled data, we combine the predictive uncertainty of the encoder and the explanation score of the decoder to acquire informative data for annotation. As XAL is a general framework for text classification, we test our methods on six different classification tasks. Extensive experiments show that XAL achieves substantial improvement on all six tasks over previous AL methods. Ablation studies demonstrate the effectiveness of each component, and human evaluation shows that the model trained in XAL performs surprisingly well in explaining its prediction.
• Abstract（参考訳）: アクティブラーニングは、低リソースタスクで実践的なアノテーションのための最も情報に富んだ未ラベルデータを反復的にキュレートすることで、効果的なトレーニングセットを構築することを目的としている。 ほとんどのアクティブな学習手法は、ラベルのないデータを選択するのにモデルの不確実性や不一致に依存する。 しかし、これまでの研究では、既存のモデルでは予測の不確実性が定量化できないため、表面パターンの過信と探索の欠如に繋がる可能性がある。 低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。このフレームワークは,推論を正当化し,合理的な説明ができないラベル付きデータに探索することを目的としている。 具体的には,事前学習された双方向エンコーダを用いた分類に加えて,事前学習された一方向デコーダを用いて説明の生成とスコア付けを行う。 説明のスコアリングにおけるデコーダの能力を高めるためにランキング損失を提案する。 ラベルなしデータの選択中,エンコーダの予測不確実性とデコーダの説明スコアを組み合わせることで,アノテーションのための情報データを取得する。 XALはテキスト分類の一般的なフレームワークであるため、6つの異なる分類タスクでメソッドをテストする。 大規模な実験により、XALは以前のAL法よりも6つのタスクすべてを大幅に改善した。 アブレーション研究は各成分の有効性を示し、人間の評価ではxalで訓練されたモデルがその予測を説明するのに驚くほど効果的であることを示している。

関連論文リスト

• Robust Partial-Label Learning by Leveraging Class Activation Values [0.0]
  例えば、人間のアノテータは同じインスタンスに競合するクラスラベルを割り当てる。 本稿では、ニューラルネットワークのクラスアクティベーション値の大きさを利用して、不確かさを明確に表現する主観論理に基づく新しい手法を提案する。 提案手法は,高騒音下での予測性能において,より堅牢な予測を行うことを示す。
  論文  参考訳（メタデータ） (2025-02-17T12:30:05Z)
• Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling [6.771578432805963]
  アクティブラーニングは、ラベルなしサンプルの選択を自動化することで、データラベリングに関わる労力を軽減することを目的としている。 トレーニング中に大量のラベルのないデータの使用を大幅に改善する新しい手法を導入する。 様々な画像分類およびセグメンテーションベンチマークデータセットにおける技術状況に対するアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-23T00:35:07Z)
• Unsupervised Transfer Learning via Adversarial Contrastive Training [3.227277661633986]
  対戦型コントラスト学習(ACT)を用いた新しい教師なしトランスファー学習手法を提案する。 実験により, 細調整線形プローブとK-NNプロトコルを用いて, 各種データセットの分類精度に優れることを示した。
  論文  参考訳（メタデータ） (2024-08-16T05:11:52Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Mutual Information Learned Classifiers: an Information-theoretic Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
  クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。 本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。 ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-03T15:09:19Z)
• Low-Regret Active learning [64.36270166907788]
  トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。 私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
  論文  参考訳（メタデータ） (2021-04-06T22:53:45Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Out-distribution aware Self-training in an Open World Setting [62.19882458285749]
  オープンワールド環境ではラベルのないデータを活用して予測性能をさらに向上します。 注意深いサンプル選択戦略を含む,自己学習を意識したアウト・ディストリビューションを導入する。 当社の分類器は、設計外分布を意識しており、タスク関連の入力と無関係な入力を区別できます。
  論文  参考訳（メタデータ） (2020-12-21T12:25:04Z)
• Self-Supervised Relational Reasoning for Representation Learning [5.076419064097733]
  自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。 本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。 提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
  論文  参考訳（メタデータ） (2020-06-10T14:24:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。