論文の概要: A Survey of Active Learning for Text Classification using Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2008.07267v1
- Date: Mon, 17 Aug 2020 12:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 02:59:36.150388
- Title: A Survey of Active Learning for Text Classification using Deep Neural
Networks
- Title（参考訳）: ディープニューラルネットワークを用いたテキスト分類のためのアクティブラーニングの検討
- Authors: Christopher Schr\"oder and Andreas Niekler
- Abstract要約: 自然言語処理(NLP)とニューラルネットワーク(NN)はどちらも近年大きく変化している。
しかし、アクティブラーニング(AL)の目的のために、NNは、現在の人気にもかかわらず、あまり使われていない。
- 参考スコア（独自算出の注目度）: 1.2310316230437004
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural language processing (NLP) and neural networks (NNs) have both
undergone significant changes in recent years. For active learning (AL)
purposes, NNs are, however, less commonly used -- despite their current
popularity. By using the superior text classification performance of NNs for
AL, we can either increase a model's performance using the same amount of data
or reduce the data and therefore the required annotation efforts while keeping
the same performance. We review AL for text classification using deep neural
networks (DNNs) and elaborate on two main causes which used to hinder the
adoption: (a) the inability of NNs to provide reliable uncertainty estimates,
on which the most commonly used query strategies rely, and (b) the challenge of
training DNNs on small data. To investigate the former, we construct a taxonomy
of query strategies, which distinguishes between data-based, model-based, and
prediction-based instance selection, and investigate the prevalence of these
classes in recent research. Moreover, we review recent NN-based advances in NLP
like word embeddings or language models in the context of (D)NNs, survey the
current state-of-the-art at the intersection of AL, text classification, and
DNNs and relate recent advances in NLP to AL. Finally, we analyze recent work
in AL for text classification, connect the respective query strategies to the
taxonomy, and outline commonalities and shortcomings. As a result, we highlight
gaps in current research and present open research questions.
- Abstract（参考訳）: 自然言語処理(NLP)とニューラルネットワーク(NN)はどちらも近年大きく変化している。
しかし、アクティブラーニング(AL)の目的のために、NNは、現在の人気にもかかわらず、あまり使われていない。
AL用NNの優れたテキスト分類性能を利用することで、同じ量のデータを用いてモデルの性能を高めるか、データを減らすか、従って同じ性能を維持しながら必要なアノテーション処理を行うことができる。
我々は、ディープニューラルネットワーク(DNN)を用いたテキスト分類のためのALをレビューし、採用を妨げる2つの主な原因について詳述する。
(a)最も一般的に使用されているクエリ戦略が依存する信頼性の高い不確実性推定を提供するためのnnsの欠如
b) DNNを小さなデータで訓練する際の課題。
前者については,データベース,モデルベース,予測ベースのインスタンス選択を区別する問合せ戦略の分類法を構築し,最近の研究でこれらのクラスの普及状況を調査した。
さらに、(D)NNの文脈における単語埋め込みや言語モデルのようなNLPの最近の進歩を概観し、ALとテキスト分類、DNNの交差点における最先端技術を調査し、最近のNLPのALへの進歩について述べる。
最後に,テキスト分類のためのalの最近の研究を分析し,各問合せ戦略と分類を結びつけ,共通点と欠点を概説する。
その結果、現在の研究のギャップを強調し、オープンな研究課題を提示する。
関連論文リスト
- Empowering Bayesian Neural Networks with Functional Priors through Anchored Ensembling for Mechanics Surrogate Modeling Applications [0.0]
本稿では,関数空間で利用可能な事前情報を統合するアンカー型アンサンブルに基づく新しいBNNトレーニング手法を提案する。
アンカーリング方式は, NNパラメータ間の低ランク相関を利用して, 事前学習から関数前の実現まで学習する。
また,既存のBNN実装では無視されることが多いNN重み間の相関が,関数空間とパラメータ空間の事前知識を適切に伝達する上で重要であることを示す。
論文 参考訳（メタデータ） (2024-09-08T22:27:50Z) - Supervised Gradual Machine Learning for Aspect Category Detection [0.9857683394266679]
アスペクトカテゴリー検出(ACD)は、あるレビュー文の中で暗黙的かつ明示的な側面を識別することを目的としている。
本稿では,Deep Neural Networks (DNN) と Gradual Machine Learning (GML) を教師付き環境で組み合わせることで,ACDタスクに取り組む新しい手法を提案する。
論文 参考訳（メタデータ） (2024-04-08T07:21:46Z) - Scaling Model Checking for DNN Analysis via State-Space Reduction and
Input Segmentation (Extended Version) [12.272381003294026]
既存のフレームワークは、トレーニングされたNNに対して堅牢性と/または安全性を保証する。
我々は、広範囲のNNプロパティを分析するための最初のモデルチェックベースのフレームワークであるFANNetを提案した。
本研究は,形式的NN解析のスケーラビリティとタイミング効率を向上させるために,状態空間の削減と入力セグメント化手法を開発する。
論文 参考訳（メタデータ） (2023-06-29T22:18:07Z) - Graph Neural Networks are Inherently Good Generalizers: Insights by
Bridging GNNs and MLPs [71.93227401463199]
本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。
PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
論文 参考訳（メタデータ） (2022-12-18T08:17:32Z) - Leveraging The Topological Consistencies of Learning in Deep Neural
Networks [0.0]
我々は,実行中の計算の迅速化を図りながら,学習の進捗を正確に特徴付ける,新しいトポロジ的特徴のクラスを定義する。
提案するトポロジカルな特徴は, バックプロパゲーションに容易に対応できるので, エンド・ツー・エンドのトレーニングに組み込むことが可能である。
論文 参考訳（メタデータ） (2021-11-30T18:34:48Z) - Interpreting Deep Learning Models in Natural Language Processing: A
Review [33.80537635077772]
ニューラルネットワークモデルに対する長年にわたる批判は、解釈可能性の欠如である。
本研究では,NLPにおけるニューラルモデルに対する様々な解釈手法について概説する。
論文 参考訳（メタデータ） (2021-10-20T10:17:04Z) - Graph Neural Networks for Natural Language Processing: A Survey [64.36633422999905]
本稿では,自然言語処理のためのグラフニューラルネットワーク(GNN)について概観する。
我々は,グラフ構築,グラフ表現学習,グラフベースエンコーダ・デコーダモデルという3つの軸に沿って,NLP用GNNの既存の研究を組織する,NLP用GNNの新しい分類法を提案する。
論文 参考訳（メタデータ） (2021-06-10T23:59:26Z) - Recent Advances in Large Margin Learning [63.982279380483526]
本稿では,(非線形)深層ニューラルネットワーク(dnn)のための大規模マージントレーニングとその理論的基礎の最近の進歩に関する調査を行う。
古典研究から最新のDNNへの分類マージンの策定を一般化し、マージン、ネットワーク一般化、堅牢性の間の理論的関連性をまとめ、最近のDNNのマージン拡大の取り組みを総合的に紹介します。
論文 参考訳（メタデータ） (2021-03-25T04:12:00Z) - NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。
NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。
NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
論文 参考訳（メタデータ） (2020-12-09T13:02:44Z) - Neural Networks Enhancement with Logical Knowledge [83.9217787335878]
関係データに対するKENNの拡張を提案する。
その結果、KENNは、存在関係データにおいても、基礎となるニューラルネットワークの性能を高めることができることがわかった。
論文 参考訳（メタデータ） (2020-09-13T21:12:20Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。