論文の概要: Using Bottleneck Adapters to Identify Cancer in Clinical Notes under Low-Resource Constraints

• arxiv url: http://arxiv.org/abs/2210.09440v2
• Date: Wed, 7 Jun 2023 10:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 20:02:06.070735
• Title: Using Bottleneck Adapters to Identify Cancer in Clinical Notes under Low-Resource Constraints
• Title（参考訳）: ボツネックアダプターを用いた低資源制約下におけるがん診断
• Authors: Omid Rohanian, Hannah Jauncey, Mohammadmahdi Nouriborji, Vinod Kumar Chauhan, Bronner P. Gon\c{c}alves, Christiana Kartsonaki, ISARIC Clinical Characterisation Group, Laura Merson, David Clifton
• Abstract要約: 簡単なRNNからBioBERTなどの特殊変換器まで,幅広い機械学習手法の評価を行った。 具体的には、NLP、すなわちボトルネックアダプタとプロンプトチューニングの効率的な微調整手法を特に採用する。 本評価は,凍結したBERTモデルを自然言語で事前学習し,ボトルネックアダプタを組み込んだ微調整が,他のすべての戦略より優れていることを示唆する。
• 参考スコア（独自算出の注目度）: 1.2479179239870617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Processing information locked within clinical health records is a challenging task that remains an active area of research in biomedical NLP. In this work, we evaluate a broad set of machine learning techniques ranging from simple RNNs to specialised transformers such as BioBERT on a dataset containing clinical notes along with a set of annotations indicating whether a sample is cancer-related or not. Furthermore, we specifically employ efficient fine-tuning methods from NLP, namely, bottleneck adapters and prompt tuning, to adapt the models to our specialised task. Our evaluations suggest that fine-tuning a frozen BERT model pre-trained on natural language and with bottleneck adapters outperforms all other strategies, including full fine-tuning of the specialised BioBERT model. Based on our findings, we suggest that using bottleneck adapters in low-resource situations with limited access to labelled data or processing capacity could be a viable strategy in biomedical text mining. The code used in the experiments are going to be made available at https://github.com/omidrohanian/bottleneck-adapters.
• Abstract（参考訳）: 臨床健康記録に記録された情報を処理することは、バイオメディカルNLPの研究の活発な領域である。 本研究では, 臨床ノートを含むデータセット上で, 単純なrnnからbiobertなどの特殊なトランスフォーマーまで, サンプルが癌関連であるか否かを示すアノテーション群とともに, 幅広い機械学習手法を評価した。 さらに,NLP からの効率的な微調整手法,すなわちボトルネックアダプタと即時チューニングを用いて,モデルを特殊タスクに適応させる。 評価の結果,凍結したBERTモデルを自然言語で事前学習し,ボトルネックアダプタを用いて微調整することで,BioBERTモデルを完全に微調整するなど,他の手法よりも優れていることがわかった。 この結果から,ラベル付きデータや処理能力に制限のある低リソース環境におけるボトルネックアダプタの使用は,バイオメディカルテキストマイニングにおいて有効な戦略である可能性が示唆された。 実験で使用されたコードはhttps://github.com/omidrohanian/bottleneck-adaptersで利用可能になる。

関連論文リスト

• The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [4.72457683445805]
  臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。 本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。 我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-27T16:48:03Z)
• Exploring the Effectiveness of Instruction Tuning in Biomedical Language Processing [19.41164870575055]
  本研究では,バイオメディカル言語処理における指導指導の可能性について検討する。 約20,000ドルのインストラクション中心のサンプルからなるデータセットで訓練された包括的,命令ベースのモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-31T20:02:10Z)
• Learnable Weight Initialization for Volumetric Medical Image Segmentation [66.3030435676252]
  本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。 我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。 多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-15T17:55:05Z)
• Clinically Acceptable Segmentation of Organs at Risk in Cervical Cancer Radiation Treatment from Clinically Available Annotations [0.0]
  子宮頸癌放射線治療におけるOAR(Organs at Risk)の自動セグメンテーションのためのディープラーニングモデルを学習するためのアプローチを提案する。 我々は、データの不均一性、ラベルノイズ、アノテーションの欠如を最小限に抑えるために、自動データのクリーニングにシンプルな手法を採用している。 そこで本研究では,教師が指導するシステム,アノテーション命令,不確実性誘導学習を利用して,アノテーションの欠如の有無を学習する半教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-02-21T13:24:40Z)
• Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
  本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。 知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。 評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
  論文  参考訳（メタデータ） (2023-02-09T16:07:31Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Towards an Automatic Analysis of CHO-K1 Suspension Growth in Microfluidic Single-cell Cultivation [63.94623495501023]
  我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。 具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
  論文  参考訳（メタデータ） (2020-10-20T08:36:51Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。