論文の概要: Large Scale Subject Category Classification of Scholarly Papers with
Deep Attentive Neural Networks
- arxiv url: http://arxiv.org/abs/2007.13826v1
- Date: Mon, 27 Jul 2020 19:42:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 09:05:39.070899
- Title: Large Scale Subject Category Classification of Scholarly Papers with
Deep Attentive Neural Networks
- Title（参考訳）: 深部学習ニューラルネットワークを用いた学習用紙の大規模カテゴリー分類
- Authors: Bharath Kandimalla, Shaurya Rohatgi, Jian Wu and C Lee Giles
- Abstract要約: 本稿では,学術論文を要約のみを用いて分類するディープ注意ニューラルネットワーク(DANN)を提案する。
提案するネットワークは2つの双方向リカレントニューラルネットワークとアテンション層から構成される。
最適モデルでは,0.50～0.95の範囲の個々の対象カテゴリーのF1に対して0.76のマイクロF1測定値が得られる。
- 参考スコア（独自算出の注目度）: 15.241086410108512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Subject categories of scholarly papers generally refer to the knowledge
domain(s) to which the papers belong, examples being computer science or
physics. Subject category information can be used for building faceted search
for digital library search engines. This can significantly assist users in
narrowing down their search space of relevant documents. Unfortunately, many
academic papers do not have such information as part of their metadata.
Existing methods for solving this task usually focus on unsupervised learning
that often relies on citation networks. However, a complete list of papers
citing the current paper may not be readily available. In particular, new
papers that have few or no citations cannot be classified using such methods.
Here, we propose a deep attentive neural network (DANN) that classifies
scholarly papers using only their abstracts. The network is trained using 9
million abstracts from Web of Science (WoS). We also use the WoS schema that
covers 104 subject categories. The proposed network consists of two
bi-directional recurrent neural networks followed by an attention layer. We
compare our model against baselines by varying the architecture and text
representation. Our best model achieves micro-F1 measure of 0.76 with F1 of
individual subject categories ranging from 0.50-0.95. The results showed the
importance of retraining word embedding models to maximize the vocabulary
overlap and the effectiveness of the attention mechanism. The combination of
word vectors with TFIDF outperforms character and sentence level embedding
models. We discuss imbalanced samples and overlapping categories and suggest
possible strategies for mitigation. We also determine the subject category
distribution in CiteSeerX by classifying a random sample of one million
academic papers.
- Abstract（参考訳）: 学術論文の主題分類は一般に、その論文が属する知識領域(例えばコンピュータ科学や物理学)を指す。
主題カテゴリ情報は、デジタル図書館検索エンジンのファセット検索の構築に使用できる。
これにより、ユーザーは関連文書の検索スペースを狭めるのに大いに役立つ。
残念ながら、多くの学術論文はメタデータの一部としてそのような情報を持っていない。
このタスクを解く既存の方法は通常、しばしば引用ネットワークに依存する教師なし学習に焦点をあてる。
しかし、現在の論文を引用する論文の完全なリストは、すぐには入手できない。
特に、引用がほとんど、あるいは全くない新しい論文は、そのような方法で分類できない。
本稿では,学術論文を要約のみを用いて分類するディープ注意ニューラルネットワーク(DANN)を提案する。
このネットワークは、Web of Science (WoS)から900万の抽象化を使って訓練されている。
また、104のサブジェクトカテゴリをカバーするwosスキーマも使用しています。
提案するネットワークは2つの双方向リカレントニューラルネットワークとアテンション層から構成される。
私たちは、アーキテクチャとテキスト表現を変化させて、モデルとベースラインを比較します。
最適モデルでは,0.50～0.95の範囲の個々の対象カテゴリーのF1に対して0.76のマイクロF1測定値が得られる。
その結果,語彙重なりと注意機構の有効性を最大化するために,単語埋め込みモデルの再学習の重要性が示された。
単語ベクトルとtfidfの組み合わせは、文字と文レベルの埋め込みモデルを上回る。
不均衡なサンプルと重複するカテゴリについて議論し、緩和戦略を提案する。
また,100万の学術論文のランダム標本を分類することにより,CiteSeerXのカテゴリ分布を決定する。
関連論文リスト
- Interactive Distillation of Large Single-Topic Corpora of Scientific
Papers [1.2954493726326113]
より堅牢だが時間を要するアプローチは、主題の専門家が文書を手書きするデータセットを構成的に構築することである。
ここでは,学術文献のターゲットデータセットを構築的に生成するための,機械学習に基づく新しいツールを紹介する。
論文 参考訳（メタデータ） (2023-09-19T17:18:36Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳（メタデータ） (2023-07-05T20:16:20Z) - Weakly Supervised Multi-Label Classification of Full-Text Scientific
Papers [29.295941972777978]
我々は,クロスペーパーネットワーク構造と紙内階層構造を用いて,弱い監督下で全文科学論文を分類するフレームワークEXを提案する。
ネットワーク対応のコントラスト調整モジュールと階層対応のアグリゲーションモジュールは、2種類の構造信号を利用するように設計されている。
論文 参考訳（メタデータ） (2023-06-24T15:27:55Z) - Multi-task recommendation system for scientific papers with high-way
networks [1.5229257192293197]
論文推薦を予測し,キーワードなどのメタデータを生成するマルチタスクレコメンデーションシステム(RS)を提案する。
このアプローチの背景には、キーワードとして表現された論文のトピックが、研究者の好みの予測に有用である、という動機がある。
我々のアプリケーションは、ハイウェイネットワークを使ってシステムを非常に深く訓練し、RNNとCNNの利点を組み合わせて最も重要な要素を見つけ、遅延表現する。
論文 参考訳（メタデータ） (2022-04-21T07:40:47Z) - Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
引用グラフを用いて科学論文の要約作業を再定義します。
我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。
我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
論文 参考訳（メタデータ） (2021-04-07T11:13:35Z) - Minimally-Supervised Structure-Rich Text Categorization via Learning on
Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。
具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。
実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文 参考訳（メタデータ） (2021-02-23T04:14:34Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Pairwise Learning for Name Disambiguation in Large-Scale Heterogeneous
Academic Networks [81.00481125272098]
本稿では,MA-PairRNN(Multi-view Attention-based Pairwise Recurrent Neural Network)を提案する。
MA-PairRNNは、不均一グラフ埋め込み学習とペアワイズ類似学習をフレームワークに統合する。
実世界の2つのデータセットの結果から、我々のフレームワークは名前の曖昧さに対するパフォーマンスを著しく一貫した改善をしていることがわかる。
論文 参考訳（メタデータ） (2020-08-30T06:08:20Z) - Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。
GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
論文 参考訳（メタデータ） (2020-06-23T04:13:23Z) - Segmenting Scientific Abstracts into Discourse Categories: A Deep
Learning-Based Approach for Sparse Labeled Data [8.635930195821265]
我々は、PubMedから構造化された抽象概念に基づいて深層ニューラルネットワークをトレーニングし、それを手書きのコンピュータサイエンス論文の小さなコーパスで微調整する。
本手法は,データが疎結合である抽象文の自動セグメンテーションにおいて,有望な解であると考えられる。
論文 参考訳（メタデータ） (2020-05-11T20:21:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。