論文の概要: Custom Named Entity Recognition and Topic Classification for Global Health Publications
- arxiv url: http://arxiv.org/abs/2609.24625v1
- Date: Mon, 21 Sep 2026 14:09:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.315034
- Title: Custom Named Entity Recognition and Topic Classification for Global Health Publications
- Title(参考訳): グローバルヘルス・パブリケーションのためのカスタマイズされたエンティティ認識とトピック分類
- Abstract要約: この論文は、セマンティックタグ発見、名前付きエンティティ認識(NER)、マルチラベルトピック分類の実験を通じて課題を調査する。
まず, プログレッシブな特殊コーパスをトレーニングしたスキップグラム word2vec モデルを BioWordVec と比較し, コーパスサイズとドメインコンテキストがタグ発見に与える影響を評価する。
この分析結果はエンティティ抽出に変わり、1000の注釈付き文で畳み込みのspurCyモデルとRoBERTaベースの変換器を比較した。
- 参考スコア(独自算出の注目度): 0.3823356975862005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How should natural language processing models be selected and adapted for global health literature in environments where annotated data and computational resources are limited? This thesis investigates these challenges through experiments on semantic tag discovery, named entity recognition (NER), and multi-label topic classification. First, skip-gram word2vec models trained on progressively larger specialized corpora are compared with BioWordVec to assess how corpus size and domain context influence tag discovery. Vocabulary coverage and qualitative evaluation indicate that broader coverage does not necessarily yield more useful domain-specific associations. The analysis then turns to entity extraction, comparing convolutional spaCy models with a RoBERTa-based transformer on 1,000 annotated sentences. Under a lenient scoring protocol, the transformer achieves 0.80 micro-F1 versus 0.65-0.69 for convolutional models, but takes 82 seconds rather than 5-6 seconds. This trade-off motivates fine-tuning convolutional models and integrating a disease recognizer that achieves 81.33% test F1 on the NCBI Disease Corpus. Combined with PDF preprocessing, entity filtering, and MeSH enrichment, the resulting pipeline supports document-level indexing. To complement entity extraction with thematic annotation, MiniLM-based few-shot classification is compared with BART-MNLI zero-shot inference across 50 topics and 1,000 handcrafted test sentences. BART-MNLI achieves 95.2% single-label accuracy versus 59%; reported multi-label accuracies are 88% and 32% under partly manual assessment. However, its higher inference cost limits practical integration. The results show where domain specialization and lightweight adaptation offer practical value, and where transformer accuracy justifies higher inference costs, providing an empirical basis for building knowledge systems under resource constraints.
- Abstract(参考訳): 注釈付きデータと計算資源が制限された環境で、自然言語処理モデルをどのように選択し、グローバルヘルス文献に適用するか。
この論文は、セマンティックタグ発見、名前付きエンティティ認識(NER)、マルチラベルトピック分類の実験を通じて、これらの課題を調査する。
まず, プログレッシブな特殊コーパスをトレーニングしたスキップグラム word2vec モデルを BioWordVec と比較し, コーパスサイズとドメインコンテキストがタグ発見に与える影響を評価する。
語彙的カバレッジと質的評価は、より広範なカバレッジが必ずしもより有用なドメイン固有の関連性をもたらすとは限らないことを示している。
この分析結果はエンティティ抽出に変わり、1000の注釈付き文で畳み込みのspurCyモデルとRoBERTaベースの変換器を比較した。
寛大なスコアリングプロトコルの下では、変圧器は畳み込みモデルでは0.80マイクロF1、0.65-0.69マイクロF1を達成するが、5-6秒ではなく82秒かかる。
このトレードオフは、微調整の畳み込みモデルと、NCBI Disease Corpusで81.33%のテストF1を達成する病気認識器の統合を動機付けている。
PDF前処理、エンティティフィルタリング、MeSH強化と組み合わせることで、パイプラインはドキュメントレベルのインデックス化をサポートする。
実体抽出とセマンティックアノテーションを補完するため、MiniLMベースの小ショット分類を50のトピックと1000の手作りテスト文にわたるBART-MNLIゼロショット推論と比較する。
BART-MNLIは、95.2%のシングルラベル精度を59%に対して達成し、報告されているマルチラベルの精度は、一部手作業による評価では88%と32%である。
しかし、推論コストが高いため、実際の統合は制限される。
その結果、ドメインの専門化と軽量化が実用的な価値を提供し、トランスフォーマーの精度がより高い推論コストを正当化し、資源制約下で知識システムを構築するための実証的な基盤を提供することを示した。
関連論文リスト
- A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis [47.027290803102666]
本研究は,1万の総合的な授業レビューから構築されたABSAの教育的評価基準について紹介する。
最強の未調整モデルであるBERTは0.2760マイクロF1に達する。
Herathらによる2,829名の学生フィードバックレビューに対する保守的な外部評価では、9アスペクト重なりのBERTでは0.4593のマイクロF1が得られる。
論文 参考訳(メタデータ) (2026-05-25T07:05:21Z) - A Hybrid Method for Low-Resource Named Entity Recognition [0.0]
本研究では,ベトナムのNERにおけるルールベース処理とディープラーニングモデルを統合するハイブリッド型ニューロシンボリックフレームワークを提案する。
LLM(Large Language Models)を活用したスケーラブルなデータ拡張戦略が導入された。
本手法の有効性は, 物流, 野生生物, 医療を含む5つの特定領域データセットで評価した。
論文 参考訳(メタデータ) (2026-05-06T04:36:01Z) - Benchmarking Retrieval Strategies for Biomedical Retrieval-Augmented Generation: A Controlled Empirical Study [0.0]
本稿では,生物医学的質問応答RAGパイプラインにおける5つの検索戦略の体系的比較について述べる。
すべての戦略は固定生成モデル(GPT-4o-mini)、共通ベクトルストア(ChromaDB)、OpenAIのテキスト-em-3-小埋め込みを共有している。
BioASQベンチマークの前処理部分集合から抽出した250の質問応答対について評価を行った。
論文 参考訳(メタデータ) (2026-05-04T12:21:46Z) - GOLDMARK: Governed Outcome-Linked Diagnostic Model Assessment Reference Kit [7.891604152731754]
CB(Computational Biomarker)は、ヘマトキシリン・エオシン(H&E)全スライディング画像(WSI)から抽出した組織由来のパターンで、治療効果や予後を予測する。
臨床応用可能な OncoKB レベル1-3 バイオマーカーラベルを持つTCGAコーホート上に構築された標準化されたベンチマークフレームワークである GOLDMARK を紹介する。
論文 参考訳(メタデータ) (2026-03-21T15:09:06Z) - Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。
5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文 参考訳(メタデータ) (2026-01-31T13:11:39Z) - Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。
モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。
木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
論文 参考訳(メタデータ) (2025-12-20T23:08:18Z) - HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。
システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
論文 参考訳(メタデータ) (2025-08-01T20:30:42Z) - A New HOPE: Domain-agnostic Automatic Evaluation of Text Chunking [44.47350338664039]
文書チャンキングは検索強化世代(RAG)に根本的に影響する
現在、さまざまなチャンキングメソッドの影響を分析するためのフレームワークはありません。
本稿では,チャンキングプロセスの本質的特徴を3段階に定義する新しい手法を提案する。
論文 参考訳(メタデータ) (2025-05-04T16:22:27Z) - Exploring the Value of Pre-trained Language Models for Clinical Named
Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。
文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文 参考訳(メタデータ) (2022-10-23T16:27:31Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - Exploiting Global Contextual Information for Document-level Named Entity
Recognition [46.99922251839363]
我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。
単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。
文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。
我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
論文 参考訳(メタデータ) (2021-06-02T01:52:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。