論文の概要: OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
- arxiv url: http://arxiv.org/abs/2610.03829v1
- Date: Fri, 02 Oct 2026 11:38:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.280552
- Title: OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
- Title（参考訳）: OncoNoteBERT:実世界の外来オンコロジーノートの自然言語処理のための基礎表現モデル
- Abstract要約: イギリスのアウトカウンティ・オンカロジー・コーパスを用いて,腫瘍特異的BERTエンコーダの開発と評価を行った。
我々はRadBERTとPathologyBERTを2つのローカル戦略と比較した: OncoNote-RadBERT, OncoNoteBERT, OncoNoteBERT。
どちらのモデルも,検証セット上でのマスク付き言語モデリング損失とパープレキシティ,トークン化指標,臨床用語のトークン化,マスク付きトーケンプローブ,探索的表現分析を用いて評価した。
- 参考スコア（独自算出の注目度）: 6.239284099493876
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-world outpatient oncology notes contain specialised terminology, tumour staging expressions, treatment names, toxicity descriptions, and institution-specific de-identification markers that may not be represented efficiently by general biomedical or adjacent clinical language models. We developed and evaluated oncology-specific BERT-style encoders using a governed UK outpatient oncology corpus comprising 290,026 notes from 21,564 patients treated for lung and head-and-neck cancer. We compared RadBERT and PathologyBERT with two local strategies: OncoNote-RadBERT, produced by continued masked language model pretraining, and OncoNoteBERT, trained from scratch with an oncology WordPiece tokenizer. Models were evaluated using masked language modelling loss and perplexity on the validation set, tokenizer fragmentation metrics, clinical term tokenisation, masked-token probes, and exploratory representation analysis. Both external encoders fit the oncology corpus poorly in zero-shot evaluation (perplexity 113.04 for RadBERT; 2035.03 for PathologyBERT), while continued pretraining produced the strongest fit (2.10 for OncoNote-RadBERT). OncoNoteBERT achieved perplexity 2.83 but produced the most efficient tokenisation, with lower subword fertility and shorter normalised sequence length. It also returned a clinically acceptable prediction for 12 of 13 masked-token probes, compared with 7 of 13 for OncoNote-RadBERT. This divergence between corpus-level fit and masked-token performance was partly attributable to tokenizer fragmentation rather than learned semantics alone. Both locally developed models represented the institutional placeholder as a single learnable token. These findings show that continued adaptation and bespoke tokenisation provide complementary benefits, and that representation-layer design matters before adjacent-domain encoders are applied to oncology NLP.
- Abstract（参考訳）: 実世界の外来腫瘍学ノートには、専門用語、腫瘍のステージング表現、治療名、毒性の記述、一般の生医学または隣接する臨床言語モデルで効率的に表現されない施設固有の特定マーカーが含まれている。
肺・頭頸部癌患者21,564名のうち290,026名からなる英国の外来腫瘍コーパスを用いて,腫瘍特異的BERTエンコーダの開発と評価を行った。
我々はRadBERTとPathologyBERTを2つのローカル戦略と比較した: OncoNote-RadBERT, OncoNoteBERT, OncoNoteBERT。
モデルは,検証セット上でのマスク付き言語モデリング損失とパープレキシティ,トークン化指標,臨床用語のトークン化,マスク付きトーケンプローブ,探索的表現分析を用いて評価した。
両方の外付けエンコーダはゼロショット評価に適さない(RadBERTは113.04、PathologyBERTは2035.03)一方、事前訓練はOncoNote-RadBERTでは2.10)。
OncoNoteBERTはパープレキシティ2.83を達成したが、より低いサブワードの肥大度とより短い正規化シーケンス長を持つ最も効率的なトークン化を実現した。
また、OncoNote-RadBERTでは13点中7点に対して、13点中12点について臨床的に許容できる予測を返した。
このコーパスレベル適合とマスクトケン性能の相違は、意味論のみを学ぶのではなく、トークン化の断片化に起因する。
どちらも地元で開発されたモデルは、機関のプレースホルダーを単一の学習可能なトークンとして表現した。
以上の結果から, 連続的適応とbespokeトークン化は相補的利益をもたらし, 隣接するドメインエンコーダよりも前の表現層設計をオンコロジーNLPに適用することが示唆された。
関連論文リスト
- ClinicalEncoder26AM: A Multlilingual Diagnosable ColBERT Model; Evidences from the MultiClinNER Shared Task [1.6904475483445454]
ClinicalEncoder26AMは、臨床およびバイオメディカルテキストのための多言語診断可能なColBERTである。
患者症状, 障害, 手術スパンに対するBIOタグを微調整し, マルチClinNER共有タスクにおけるモデルの評価を行った。
論文 参考訳（メタデータ） (2026-05-27T14:20:45Z) - Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models [67.51123543731806]
メンタルヘルスは世界的な優先事項となり、臨床診断のコーディングにおける管理上の負担が大きくなった。
本研究では、自然言語処理(NLP)と機械学習(ML)技術を用いて、フリーテキスト記述を国際疾患分類(ICD)にマッピングすることで、精神医学的診断分析の自動化を提案する。
論文 参考訳（メタデータ） (2026-05-20T13:26:05Z) - FRACCO: A gold-standard annotated corpus of oncological entities with ICD-O-3.1 normalisation [0.9072519671397496]
FRACCO(FRACCO)は、フランスの1301症例の専門的な注釈付きコーパスである。
各文書には、形態学、地形学、組織分化に関する用語が注記されている。
論文 参考訳（メタデータ） (2025-10-13T14:00:11Z) - Interpretable Clinical Classification with Kolgomorov-Arnold Networks [70.72819760172744]
Kolmogorov-Arnold Networks (KAN) は、透明で象徴的な表現を通じて固有の解釈能力を提供する。
Kansは、組み込みの患者レベルの洞察、直感的な可視化、最寄りの患者の検索をサポートする。
これらの結果は、カンを、臨床医が理解し、監査し、行動できる信頼できるAIへの有望なステップと位置づけている。
論文 参考訳（メタデータ） (2025-09-20T17:21:58Z) - Automated SNOMED CT Concept Annotation in Clinical Text Using Bi-GRU Neural Networks [0.31457219084519]
本研究では,双方向GRUモデルを用いたSNOMEDCT概念認識のためのニューラルネットワークラベリング手法を提案する。
ドメイン適応型SpaCyおよびSciBERTベースのトークン化を用いてテキストを前処理し,テキストを文脈,構文,形態に富んだ重なり合う19個のチャンクに分割する。
Bi-GRUモデルは、IOBタグを指定してコンセプトスパンを特定し、検証セット上で90%のF1スコアで強力なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-08-04T16:08:49Z) - NIRS: An Ontology for Non-Invasive Respiratory Support in Acute Care [0.5295211483828045]
呼吸不全を有する患者の管理には、従来の換気方法に代わる非侵襲的呼吸支援(NIRS)戦略が関与する。
統一されたオントロジ構造が欠如しており、医療システム全体のNIRSモダリティに関するガイダンスを複雑にしている。
我々のゴールは、データの明確性、相互運用性、臨床意思決定を強化する統一的なフレームワークを提供することにより、急性ケア環境での知識表現を支援するNIRSオントロジーを開発することである。
論文 参考訳（メタデータ） (2025-07-26T16:05:20Z) - Radiological and Biological Dictionary of Radiomics Features: Addressing Understandable AI Issues in Personalized Breast Cancer; Dictionary Version BM1.0 [0.895629264339744]
放射線ベースのAIモデルは乳がんの診断を約束するが、解釈可能性に欠けることが多い。
本研究では,放射線特徴量(RF)と標準BI-RADSレキシコンとのギャップに対処するための2次元フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-21T20:17:20Z) - WSSS4LUAD: Grand Challenge on Weakly-supervised Tissue Semantic
Segmentation for Lung Adenocarcinoma [51.50991881342181]
この課題には10,091個のパッチレベルのアノテーションと1300万以上のラベル付きピクセルが含まれる。
第一位チームは0.8413mIoUを達成した(腫瘍:0.8389、ストーマ:0.7931、正常:0.8919)。
論文 参考訳（メタデータ） (2022-04-13T15:27:05Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。
最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。
本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文 参考訳（メタデータ） (2020-11-12T17:14:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。