論文の概要: ReProCon: Scalable and Resource-Efficient Few-Shot Biomedical Named Entity Recognition
- arxiv url: http://arxiv.org/abs/2508.16833v1
- Date: Fri, 22 Aug 2025 23:15:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.198975
- Title: ReProCon: Scalable and Resource-Efficient Few-Shot Biomedical Named Entity Recognition
- Title(参考訳): ReProCon: スケーラブルでリソース効率の良いバイオメディカル名前付きエンティティ認識
- Authors: Jeongkyun Yoo, Nela Riddle, Andrew Hoblitzell,
- Abstract要約: ReProConは、マルチプロトタイプモデリング、コサインコントラスト学習、Reptileメタラーニングを組み合わせた、新しい数発のNERフレームワークである。
本稿では,ReProConのバイオメディカル・アプリケーションに適したリソース制限設定における最先端性能を実証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named Entity Recognition (NER) in biomedical domains faces challenges due to data scarcity and imbalanced label distributions, especially with fine-grained entity types. We propose ReProCon, a novel few-shot NER framework that combines multi-prototype modeling, cosine-contrastive learning, and Reptile meta-learning to tackle these issues. By representing each category with multiple prototypes, ReProCon captures semantic variability, such as synonyms and contextual differences, while a cosine-contrastive objective ensures strong interclass separation. Reptile meta-updates enable quick adaptation with little data. Using a lightweight fastText + BiLSTM encoder with much lower memory usage, ReProCon achieves a macro-$F_1$ score close to BERT-based baselines (around 99 percent of BERT performance). The model remains stable with a label budget of 30 percent and only drops 7.8 percent in $F_1$ when expanding from 19 to 50 categories, outperforming baselines such as SpanProto and CONTaiNER, which see 10 to 32 percent degradation in Few-NERD. Ablation studies highlight the importance of multi-prototype modeling and contrastive learning in managing class imbalance. Despite difficulties with label ambiguity, ReProCon demonstrates state-of-the-art performance in resource-limited settings, making it suitable for biomedical applications.
- Abstract(参考訳): 生物医学領域における名前付きエンティティ認識(NER)は、データ不足と不均衡なラベル分布、特にきめ細かいエンティティタイプによる課題に直面している。
マルチプロトタイプモデリング,コサインコントラスト学習,Reptileメタラーニングを組み合わせ,これらの課題に対処する新しいNERフレームワークであるReProConを提案する。
各カテゴリを複数のプロトタイプで表現することで、ReProConは同義語や文脈の違いなどのセマンティックな変数をキャプチャし、コサインコントラストの目的は強いクラス間の分離を保証する。
Reptileメタ更新は、わずかなデータですばやく適応できる。
ReProConは軽量のfastText + BiLSTMエンコーダを使用してメモリ使用量を大幅に減らし、BERTベースのベースライン(BERTパフォーマンスの約99%)に近いマクロ$F_1$スコアを達成している。
モデルは安定しており、ラベルの予算は30%で、19から50のカテゴリに拡大するとF_1$の7.8%しか下がりません。
アブレーション研究は、クラス不均衡管理におけるマルチプロトタイプモデリングとコントラスト学習の重要性を強調している。
ラベルの曖昧さの難しさにもかかわらず、ReProConはリソース制限された設定で最先端のパフォーマンスを示し、バイオメディカルアプリケーションに適している。
関連論文リスト
- Simple is what you need for efficient and accurate medical image segmentation [7.2109224546543675]
本稿では,スケーラブルな超軽量医用画像分割モデルSimpleUNetを提案する。
記録破りの16KBパラメータ設定により、SimpleUNetはLBUNetや他の軽量ベンチマークを上回っている。
0.67MBの派生型は、より優れた効率(8.60 GFLOPs)と精度を実現し、マルチセンターの乳房病変のデータセットの平均DSC/IoUは85.76%/75.60%に達した。
論文 参考訳(メタデータ) (2025-06-16T12:31:48Z) - Project-Probe-Aggregate: Efficient Fine-Tuning for Group Robustness [53.96714099151378]
画像テキスト基礎モデルのパラメータ効率向上のための3段階のアプローチを提案する。
本手法は, マイノリティ標本同定とロバストトレーニングアルゴリズムの2つの重要な要素を改良する。
我々の理論分析は,PPAが少数群の識別を向上し,バランスの取れたグループエラーを最小限に抑えるためにベイズが最適であることを示している。
論文 参考訳(メタデータ) (2025-03-12T15:46:12Z) - SemiReward: A General Reward Model for Semi-supervised Learning [58.47299780978101]
半教師付き学習(SSL)は、擬似ラベリングによる自己学習フレームワークの様々な改善により、大きな進歩をみせた。
主な課題は、高品質な擬似ラベルを確認バイアスと区別する方法である。
本稿では、報酬スコアを予測して高品質な擬似ラベルを評価・フィルタリングするセミ教師付きリワードフレームワーク(SemiReward)を提案する。
論文 参考訳(メタデータ) (2023-10-04T17:56:41Z) - MarginMatch: Improving Semi-Supervised Learning with Pseudo-Margins [73.17295479535161]
MarginMatchは、一貫性の正規化と擬似ラベルを組み合わせた新しいSSLアプローチである。
トレーニングが進むにつれて、擬似ラベル付きモデル上でのモデルの振る舞いを分析し、低品質な予測が隠蔽されることを確かめる。
CIFAR-100では,クラス毎に25ラベル,STL-10では3.78%,クラス毎に4ラベルで3.25%の誤差率向上を実現した。
論文 参考訳(メタデータ) (2023-08-17T15:19:04Z) - From Zero to Hero: Harnessing Transformers for Biomedical Named Entity Recognition in Zero- and Few-shot Contexts [0.0]
本稿では,生物医学領域におけるゼロショットNERと少数ショットNERの手法を提案する。
我々は、ゼロショットNERが35.44%、ワンショットNERが50.10%、10ショットNERが69.94%、100ショットNERが79.51%の平均スコアを達成した。
論文 参考訳(メタデータ) (2023-05-05T12:14:22Z) - Recurrence With Correlation Network for Medical Image Registration [66.63200823918429]
本稿では,医療画像登録ネットワークであるRecurrence with correlation Network (RWCNet)について述べる。
これらの特徴により、2つの画像登録データセットにおける医用画像登録精度が向上することが実証された。
論文 参考訳(メタデータ) (2023-02-05T02:41:46Z) - Enhancing Label Consistency on Document-level Named Entity Recognition [19.249781091058605]
名前付きエンティティ認識(NER)は、バイオメディカル応用における文書から情報を抽出する基本的な部分である。
提案手法であるConNERは,修飾子(形容詞や前置詞など)のラベル依存性を高め,より高いラベルアグリーメントを実現する。
本手法の有効性を4つの生物医学的NERデータセットで実証した。
論文 参考訳(メタデータ) (2022-10-24T04:45:17Z) - Optimizing Bi-Encoder for Named Entity Recognition via Contrastive
Learning [80.36076044023581]
名前付きエンティティ認識(NER)のための効率的なバイエンコーダフレームワークを提案する。
我々はNERを、エンティティ参照のベクトル表現とその型との類似性を最大化する計量学習問題とみなす。
NERのこのバイエンコーダの定式化における大きな課題は、エンティティの言及から非エンゲージスを分離することにある。
論文 参考訳(メタデータ) (2022-08-30T23:19:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。