論文の概要: Improving Scholarly Knowledge Representation: Evaluating BERT-based
Models for Scientific Relation Classification
- arxiv url: http://arxiv.org/abs/2004.06153v2
- Date: Mon, 13 Jul 2020 14:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 00:19:17.165627
- Title: Improving Scholarly Knowledge Representation: Evaluating BERT-based
Models for Scientific Relation Classification
- Title(参考訳): 学術的知識表現の改善: bertに基づく科学関係分類モデルの評価
- Authors: Ming Jiang, Jennifer D'Souza, S\"oren Auer, J. Stephen Downie
- Abstract要約: 領域固有の事前学習コーパスは,Bertに基づく分類モデルにより,科学的関係のタイプを特定することができることを示す。
1回に1つの関係を予測する戦略は高い分類精度を達成するが、後者の戦略は、大小のアノテーションでコーパス内でより一貫した性能を示す。
- 参考スコア(独自算出の注目度): 5.8962650619804755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid growth of research publications, there is a vast amount of
scholarly knowledge that needs to be organized in digital libraries. To deal
with this challenge, techniques relying on knowledge-graph structures are being
advocated. Within such graph-based pipelines, inferring relation types between
related scientific concepts is a crucial step. Recently, advanced techniques
relying on language models pre-trained on the large corpus have been popularly
explored for automatic relation classification. Despite remarkable
contributions that have been made, many of these methods were evaluated under
different scenarios, which limits their comparability. To this end, we present
a thorough empirical evaluation on eight Bert-based classification models by
focusing on two key factors: 1) Bert model variants, and 2) classification
strategies. Experiments on three corpora show that domain-specific pre-training
corpus benefits the Bert-based classification model to identify the type of
scientific relations. Although the strategy of predicting a single relation
each time achieves a higher classification accuracy than the strategy of
identifying multiple relation types simultaneously in general, the latter
strategy demonstrates a more consistent performance in the corpus with either a
large or small size of annotations. Our study aims to offer recommendations to
the stakeholders of digital libraries for selecting the appropriate technique
to build knowledge-graph-based systems for enhanced scholarly information
organization.
- Abstract(参考訳): 研究出版物の急激な成長に伴い、デジタル図書館に整理する必要がある学術的な知識が大量に存在する。
この課題に対処するために、知識グラフ構造に依存する技術が提唱されている。
このようなグラフベースのパイプラインでは、関連する科学概念間の関係型を推論することが重要なステップである。
近年,大規模コーパスで事前学習した言語モデルに基づく高度な手法が広く研究されている。
顕著な貢献にもかかわらず、これらの手法の多くは異なるシナリオで評価され、互換性が制限された。
そこで本研究では, bertに基づく8つの分類モデルについて, 2つの重要な要因に着目し, 徹底的な経験的評価を行う。
1) bertモデル変異、及び
2)分類戦略。
3つのコーパスの実験は、領域固有の事前学習コーパスが、科学関係のタイプを特定するためにバートに基づく分類モデルに利点があることを示している。
各時間に1つの関係を予測する戦略は、複数の関係型を同時に識別する戦略よりも分類精度が高いが、後者の戦略は、大小いずれかのアノテーションを持つコーパスにおいてより一貫性のある性能を示す。
本研究は,デジタル図書館の利害関係者に対して,知識グラフベースシステム構築のための適切な手法を選択するためのレコメンデーションを提供することを目的としている。
関連論文リスト
- Empirical and Experimental Perspectives on Big Data in Recommendation
Systems: A Comprehensive Survey [2.6319554262325924]
本稿では,レコメンデーションシステムにおけるビッグデータアルゴリズムの包括的分析について述べる。
それは、現在のアルゴリズムの徹底的な分析と、正確な分類のための新しい階層的な分類法である。
論文 参考訳(メタデータ) (2024-02-01T23:51:29Z) - Continual Learning with Pre-Trained Models: A Survey [66.49084129482239]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。
本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文 参考訳(メタデータ) (2024-01-29T18:27:52Z) - Contrastive Learning and Mixture of Experts Enables Precise Vector
Embeddings [0.0]
トランスフォーマーニューラルネットワークは、自然言語入力の効率的なベクトル表現を生成する。
これらのモデルはドメイン固有のコンテキストにおいて顕著な課題に直面します。
我々は、最先端モデルを微調整するための2つの重要な戦略を採用している。
論文 参考訳(メタデータ) (2024-01-28T17:34:42Z) - Evaluating BERT-based Scientific Relation Classifiers for Scholarly
Knowledge Graph Construction on Digital Library Collections [5.8962650619804755]
関連する科学的概念間の意味的関係を推測することは重要なステップである。
BERTベースの事前学習モデルは、自動関係分類のために広く研究されている。
既存の手法は主にクリーンテキストで評価される。
これらの制限に対処するため、私たちはOCRノイズの多いテキストを作成しました。
論文 参考訳(メタデータ) (2023-05-03T17:32:16Z) - Enhancing Identification of Structure Function of Academic Articles
Using Contextual Information [6.28532577139029]
本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。
従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。
2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
論文 参考訳(メタデータ) (2021-11-28T11:21:21Z) - Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。
本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。
本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-15T22:46:19Z) - ECKPN: Explicit Class Knowledge Propagation Network for Transductive
Few-shot Learning [53.09923823663554]
クラスレベルの知識は、ほんの一握りのサンプルから人間が容易に学習することができる。
本稿では,この問題に対処する明示的クラス知識伝達ネットワーク(ECKPN)を提案する。
筆者らは,4つの数ショット分類ベンチマークについて広範な実験を行い,提案したECKPNが最先端の手法よりも優れていることを示す実験結果を得た。
論文 参考訳(メタデータ) (2021-06-16T02:29:43Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
既存の説明可能性技術を評価するための診断特性のリストを作成する。
そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
論文 参考訳(メタデータ) (2020-09-25T12:01:53Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳(メタデータ) (2020-08-02T00:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。