論文の概要: HunFlair2 in a cross-corpus evaluation of named entity recognition and normalization tools

• arxiv url: http://arxiv.org/abs/2402.12372v1
• Date: Mon, 19 Feb 2024 18:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 14:58:09.049872
• Title: HunFlair2 in a cross-corpus evaluation of named entity recognition and normalization tools
• Title（参考訳）: hunflair2 : 名前付きエンティティ認識と正規化ツールのクロスコーポレート評価
• Authors: Mario S\"anger, Samuele Garda, Xing David Wang, Leon Weber-Genzel, Pia Droop, Benedikt Fuchs, Alan Akbik, Ulf Leser
• Abstract要約: バイオメディカルテキストマイニングツールを用いた企業名抽出のためのクロスコーパスベンチマークの結果について報告する。 以上の結果から,BTM ツールの利用者は,オリジナルの出版物と比較して性能低下を期待すべきであることが示唆された。
• 参考スコア（独自算出の注目度）: 4.882266258243112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the exponential growth of the life science literature, biomedical text mining (BTM) has become an essential technology for accelerating the extraction of insights from publications. Identifying named entities (e.g., diseases, drugs, or genes) in texts and their linkage to reference knowledge bases are crucial steps in BTM pipelines to enable information aggregation from different documents. However, tools for these two steps are rarely applied in the same context in which they were developed. Instead, they are applied in the wild, i.e., on application-dependent text collections different from those used for the tools' training, varying, e.g., in focus, genre, style, and text type. This raises the question of whether the reported performance of BTM tools can be trusted for downstream applications. Here, we report on the results of a carefully designed cross-corpus benchmark for named entity extraction, where tools were applied systematically to corpora not used during their training. Based on a survey of 28 published systems, we selected five for an in-depth analysis on three publicly available corpora encompassing four different entity types. Comparison between tools results in a mixed picture and shows that, in a cross-corpus setting, the performance is significantly lower than the one reported in an in-corpus setting. HunFlair2 showed the best performance on average, being closely followed by PubTator. Our results indicate that users of BTM tools should expect diminishing performances when applying them in the wild compared to original publications and show that further research is necessary to make BTM tools more robust.
• Abstract（参考訳）: 生命科学文学の指数的発展に伴い、バイオメディカルテキストマイニング(BTM)は出版物からの洞察の抽出を促進する重要な技術となっている。 テキスト中の名前付きエンティティ(病気、薬物、遺伝子など)の同定と参照知識ベースへのリンクは、異なるドキュメントから情報集約を可能にするためにbtmパイプラインの重要なステップである。 しかし、これらの2つのステップのツールは、それらが開発された同じ文脈ではほとんど適用されない。 代わりに、それらはワイルド、すなわち、ツールのトレーニングで使用されるものとは異なるアプリケーション依存のテキストコレクション、例えばフォーカス、ジャンル、スタイル、テキストタイプに適用される。 これにより、報告されたBTMツールのパフォーマンスが下流アプリケーションで信頼できるかどうかという疑問が持ち上がる。 本稿では,訓練中に使用しないコーパスに対してツールが体系的に適用された名前付きエンティティ抽出のための,慎重に設計されたクロスコーパスベンチマークの結果について報告する。 28の公開システムに関する調査に基づいて、4つの異なるエンティティタイプを包含する3つの公開コーパスの詳細な分析のために5つを選択した。 ツールの比較により、混合画像が得られ、クロスコーパス設定では、その性能がインコーパス設定で報告されたものよりも著しく低いことを示す。 HunFlair2は平均して最高のパフォーマンスを示し、PubTatorが続いた。 以上の結果から,BTM ツールの利用者は,オリジナルの出版物と比較して性能低下を期待すべきであり,BTM ツールをより堅牢にするためにはさらなる研究が必要であることが示唆された。

関連論文リスト

• Pre-training data selection for biomedical domain adaptation using journal impact metrics [0.0]
  我々は, PubMed トレーニングセットの各種サブセット上で, BERT を継続的に事前学習することにより, 雑誌のインパクト測定と実験を行う。 本研究の結果から,ジャーナルインパクトメトリクスを用いたプルーニングは効率的ではないことが示唆された。しかし,より少ない抽象度を用いた事前学習(ただし,同じ数のトレーニングステップで)は,必ずしも結果のモデルの性能を低下させるわけではない。
  論文  参考訳（メタデータ） (2024-09-04T13:59:48Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
  言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。 LMが使用する外部プログラムとしてツールを統一的に定義する。 各種ツールの効率を実証的に検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:20:07Z)
• TRIAD: Automated Traceability Recovery based on Biterm-enhanced Deduction of Transitive Links among Artifacts [53.92293118080274]
  トレーサビリティにより、ステークホルダは、ソフトウェアライフサイクル全体で導入されたソフトウェアアーティファクト間のトレースリンクを抽出し、理解することができます。 ほとんどの場合、Information Retrieval (IR) など、ソフトウェアアーティファクト間のテキストの類似性に依存している。
  論文  参考訳（メタデータ） (2023-12-28T06:44:24Z)
• Pseudo Label-Guided Data Fusion and Output Consistency for Semi-Supervised Medical Image Segmentation [9.93871075239635]
  より少ないアノテーションで医用画像のセグメンテーションを行うための平均教師ネットワーク上に構築されたPLGDFフレームワークを提案する。 本稿では,ラベル付きデータとラベルなしデータを組み合わせてデータセットを効果的に拡張する,新しい擬似ラベル利用方式を提案する。 本フレームワークは,最先端の6つの半教師あり学習手法と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2023-11-17T06:36:43Z)
• Integrating curation into scientific publishing to train AI models [1.6982459897303823]
  我々は,複数モーダルデータキュレーションを学術出版プロセスに組み込んで,セグメント化された図形パネルやキャプションに注釈を付ける。 SourceData-NLPというデータセットには、620,000以上の注釈付きバイオメディカルエンティティが含まれている。 我々は、名前付き認識、図形キャプションを構成パネルに分割すること、コンテキスト依存型セマンティックタスクを用いて、AIモデルをトレーニングするためのデータセットの有用性を評価する。
  論文  参考訳（メタデータ） (2023-10-31T13:22:38Z)
• Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts [16.05119302860606]
  本稿では,生物医学的抽象的単純化作業における最先端の大規模言語モデル(LLM)の能力について検討する。 適用方法はドメインファインチューニングとプロンプトベースラーニング(PBL)である。 BLEU,ROUGE,SARI,BERTscoreなど,さまざまな自動評価指標を用い,人的評価を行った。
  論文  参考訳（メタデータ） (2023-09-22T22:47:32Z)
• BioBLP: A Modular Framework for Learning on Multimodal Biomedical Knowledge Graphs [3.780924717521521]
  知識グラフへの埋め込みを学習するためのモジュラーフレームワークを提案する。 異なるモダリティの属性データをエンコードできると同時に、属性が欠けているエンティティもサポートする。 約200万トリプルのバイオメディカルKGを用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2023-06-06T11:49:38Z)
• LLM-based Interaction for Content Generation: A Case Study on the Perception of Employees in an IT department [85.1523466539595]
  本稿では,IT企業の従業員が生成ツールを使用する意図を明らかにするためのアンケート調査を行う。 以上の結果から, 生成ツールの比較的平均的な受容性が示唆されるが, ツールが有用であると認識されるほど, 意図が高くなることが示唆された。 分析の結果, 生産ツールの利用頻度は, 従業員が作業の文脈でこれらのツールをどのように認識しているかを理解する上で重要な要因である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-18T15:35:43Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。