論文の概要: Improving Scholarly Knowledge Representation: Evaluating BERT-based Models for Scientific Relation Classification

• arxiv url: http://arxiv.org/abs/2004.06153v2
• Date: Mon, 13 Jul 2020 14:30:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 00:19:17.165627
• Title: Improving Scholarly Knowledge Representation: Evaluating BERT-based Models for Scientific Relation Classification
• Title（参考訳）: 学術的知識表現の改善: bertに基づく科学関係分類モデルの評価
• Authors: Ming Jiang, Jennifer D'Souza, S\"oren Auer, J. Stephen Downie
• Abstract要約: 領域固有の事前学習コーパスは,Bertに基づく分類モデルにより,科学的関係のタイプを特定することができることを示す。 1回に1つの関係を予測する戦略は高い分類精度を達成するが、後者の戦略は、大小のアノテーションでコーパス内でより一貫した性能を示す。
• 参考スコア（独自算出の注目度）: 5.8962650619804755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid growth of research publications, there is a vast amount of scholarly knowledge that needs to be organized in digital libraries. To deal with this challenge, techniques relying on knowledge-graph structures are being advocated. Within such graph-based pipelines, inferring relation types between related scientific concepts is a crucial step. Recently, advanced techniques relying on language models pre-trained on the large corpus have been popularly explored for automatic relation classification. Despite remarkable contributions that have been made, many of these methods were evaluated under different scenarios, which limits their comparability. To this end, we present a thorough empirical evaluation on eight Bert-based classification models by focusing on two key factors: 1) Bert model variants, and 2) classification strategies. Experiments on three corpora show that domain-specific pre-training corpus benefits the Bert-based classification model to identify the type of scientific relations. Although the strategy of predicting a single relation each time achieves a higher classification accuracy than the strategy of identifying multiple relation types simultaneously in general, the latter strategy demonstrates a more consistent performance in the corpus with either a large or small size of annotations. Our study aims to offer recommendations to the stakeholders of digital libraries for selecting the appropriate technique to build knowledge-graph-based systems for enhanced scholarly information organization.
• Abstract（参考訳）: 研究出版物の急激な成長に伴い、デジタル図書館に整理する必要がある学術的な知識が大量に存在する。 この課題に対処するために、知識グラフ構造に依存する技術が提唱されている。 このようなグラフベースのパイプラインでは、関連する科学概念間の関係型を推論することが重要なステップである。 近年,大規模コーパスで事前学習した言語モデルに基づく高度な手法が広く研究されている。 顕著な貢献にもかかわらず、これらの手法の多くは異なるシナリオで評価され、互換性が制限された。 そこで本研究では, bertに基づく8つの分類モデルについて, 2つの重要な要因に着目し, 徹底的な経験的評価を行う。 1) bertモデル変異、及び 2)分類戦略。 3つのコーパスの実験は、領域固有の事前学習コーパスが、科学関係のタイプを特定するためにバートに基づく分類モデルに利点があることを示している。 各時間に1つの関係を予測する戦略は、複数の関係型を同時に識別する戦略よりも分類精度が高いが、後者の戦略は、大小いずれかのアノテーションを持つコーパスにおいてより一貫性のある性能を示す。 本研究は,デジタル図書館の利害関係者に対して,知識グラフベースシステム構築のための適切な手法を選択するためのレコメンデーションを提供することを目的としている。

関連論文リスト

• Preview-based Category Contrastive Learning for Knowledge Distillation [53.551002781828146]
  知識蒸留(PCKD)のための新しい予見型カテゴリーコントラスト学習法を提案する。 まず、インスタンスレベルの特徴対応と、インスタンスの特徴とカテゴリ中心の関係の両方の構造的知識を蒸留する。 カテゴリ表現を明示的に最適化し、インスタンスとカテゴリの表現を明確に関連付けることができる。
  論文  参考訳（メタデータ） (2024-10-18T03:31:00Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Contextuality Helps Representation Learning for Generalized Category Discovery [5.885208652383516]
  本稿では、文脈性の概念を活用することにより、一般化カテゴリー発見(GCD)への新たなアプローチを提案する。 我々のモデルでは,コントラスト学習に最も近いコンテキストが使用されるインスタンスレベルと,コントラスト学習を利用するクラスタレベルという,2つのコンテキストレベルを統合している。 文脈情報の統合は、特徴学習を効果的に改善し、その結果、すべてのカテゴリの分類精度が向上する。
  論文  参考訳（メタデータ） (2024-07-29T07:30:41Z)
• Why do you cite? An investigation on citation intents and decision-making classification processes [1.7812428873698407]
  本研究は,引用意図を信頼して分類することの重要性を強調する。 本稿では,citation Intent Classification (CIC) のための高度なアンサンブル戦略を用いた研究について述べる。 我々のモデルの1つは、SciCiteベンチマークで89.46%のマクロF1スコアを持つ新しい最先端(SOTA)として設定されている。
  論文  参考訳（メタデータ） (2024-07-18T09:29:33Z)
• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• Evaluating BERT-based Scientific Relation Classifiers for Scholarly Knowledge Graph Construction on Digital Library Collections [5.8962650619804755]
  関連する科学的概念間の意味的関係を推測することは重要なステップである。 BERTベースの事前学習モデルは、自動関係分類のために広く研究されている。 既存の手法は主にクリーンテキストで評価される。 これらの制限に対処するため、私たちはOCRノイズの多いテキストを作成しました。
  論文  参考訳（メタデータ） (2023-05-03T17:32:16Z)
• Enhancing Identification of Structure Function of Academic Articles Using Contextual Information [6.28532577139029]
  本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。 従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。 2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
  論文  参考訳（メタデータ） (2021-11-28T11:21:21Z)
• Partner-Assisted Learning for Few-Shot Image Classification [54.66864961784989]
  人間の視覚能力を模倣し、徹底的な人間のアノテーションを必要とせずに効果的なモデルを学ぶために、わずかなショットラーニングが研究されている。 本稿では,新しいクラスのプロトタイプをラベル付きサンプルから推定できるように,要素表現を得るためのトレーニング戦略の設計に焦点をあてる。 本稿では,まずパートナーエンコーダのペアワイド類似性をモデル化し,ソフトアンカーとして機能する特徴を抽出し,その出力をソフトアンカーと整列させ,分類性能を最大化しようとする2段階トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T22:46:19Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
  過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。 本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。 特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
  論文  参考訳（メタデータ） (2020-08-02T00:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。