論文の概要: Towards Scalable and Cross-Lingual Specialist Language Models for Oncology

• arxiv url: http://arxiv.org/abs/2503.08323v1
• Date: Tue, 11 Mar 2025 11:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:23.577469
• Title: Towards Scalable and Cross-Lingual Specialist Language Models for Oncology
• Title（参考訳）: オンコロジーのためのスケーラブル言語と言語横断言語モデルを目指して
• Authors: Morteza Rohanian, Tarun Mehra, Nicola Miglino, Farhad Nooralahzadeh, Michael Krauthammer, Andreas Wicki,
• Abstract要約: 汎用大規模モデル(LLM)は、臨床用語、文脈に依存した解釈、マルチモーダルデータ統合といった課題に対処する。 本研究では,教師調律,検索強化生成(RAG),グラフベースの知識統合を組み合わせた,オンコロジー特化,効率的,適応可能なNLPフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 4.824906329042275
• License:
• Abstract: Clinical oncology generates vast, unstructured data that often contain inconsistencies, missing information, and ambiguities, making it difficult to extract reliable insights for data-driven decision-making. General-purpose large language models (LLMs) struggle with these challenges due to their lack of domain-specific reasoning, including specialized clinical terminology, context-dependent interpretations, and multi-modal data integration. We address these issues with an oncology-specialized, efficient, and adaptable NLP framework that combines instruction tuning, retrieval-augmented generation (RAG), and graph-based knowledge integration. Our lightweight models prove effective at oncology-specific tasks, such as named entity recognition (e.g., identifying cancer diagnoses), entity linking (e.g., linking entities to standardized ontologies), TNM staging, document classification (e.g., cancer subtype classification from pathology reports), and treatment response prediction. Our framework emphasizes adaptability and resource efficiency. We include minimal German instructions, collected at the University Hospital Zurich (USZ), to test whether small amounts of non-English language data can effectively transfer knowledge across languages. This approach mirrors our motivation for lightweight models, which balance strong performance with reduced computational costs, making them suitable for resource-limited healthcare settings. We validated our models on oncology datasets, demonstrating strong results in named entity recognition, relation extraction, and document classification.
• Abstract（参考訳）: 臨床腫瘍学は、しばしば不整合、情報不足、曖昧さを含む膨大な非構造化データを生成するため、データ駆動意思決定のための信頼できる洞察を抽出することは困難である。 汎用大規模言語モデル(LLM)は、専門的な臨床用語、文脈に依存した解釈、マルチモーダルデータ統合など、ドメイン固有の推論が欠如しているため、これらの課題に対処する。 我々は,これらの問題を,命令チューニング,検索強化生成(RAG),グラフベースの知識統合を組み合わせた,オンコロジー特化,効率的,適応可能なNLPフレームワークを用いて解決する。 本研究の軽量モデルは,がん診断(例,がん診断の特定),エンティティリンク(例,標準化オントロジーへのエンティティのリンク),TNMステージング,文書分類(例,病理報告からの癌サブタイプ分類),治療応答予測など,腫瘍学固有のタスクに有効であることを示す。 われわれのフレームワークは適応性と資源効率を重視している。 我々は、チューリッヒ大学病院(USZ)で収集された最小限のドイツ語の指示を含む。 このアプローチは、強力なパフォーマンスと計算コストの低減のバランスをとる軽量モデルの動機を反映し、リソース制限された医療環境に適合する。 我々は、オンコロジーデータセットのモデルを検証し、名前付きエンティティ認識、関係抽出、文書分類において強力な結果を示した。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Transfer Learning with Clinical Concept Embeddings from Large Language Models [4.838020198075334]
  大言語モデル (LLMs) は, 臨床的概念の意味を捉える重要な可能性を示している。 本研究では,2つの大規模医療システムからの電子健康記録を分析し,セマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-09-20T20:50:55Z)
• Diagnostic Reasoning in Natural Language: Computational Model and Application [68.47402386668846]
  言語基底タスク(NL-DAR)の文脈における診断誘導推論(DAR)について検討する。 パール構造因果モデルに基づくNL-DARの新しいモデリングフレームワークを提案する。 得られたデータセットを用いて,NL-DARにおける人間の意思決定過程を解析する。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)
• HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction [16.060286162384536]
  HistGenは、病理組織学レポート生成のための学習可能なフレームワークである。 スライド画像全体(WSI)と局所的およびグローバルな粒度からの診断レポートを整列させることで、レポート生成を促進することを目的としている。 WSIレポート生成実験の結果,提案手法は最先端モデル(SOTA)よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-08T15:51:43Z)
• UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [4.865221751784403]
  この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。 予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
  論文  参考訳（メタデータ） (2023-07-20T18:08:34Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。