Fugu-MT 論文翻訳(概要): Federated pretraining and fine tuning of BERT using clinical notes from multiple silos

論文の概要: Federated pretraining and fine tuning of BERT using clinical notes from multiple silos

arxiv url: http://arxiv.org/abs/2002.08562v1
Date: Thu, 20 Feb 2020 04:14:35 GMT
ステータス: 処理完了
システム内更新日: 2022-12-30 06:31:16.605320
Title: Federated pretraining and fine tuning of BERT using clinical notes from multiple silos
Title（参考訳）: 複数サイロの臨床ノートを用いたbertのフェデレート前訓練と微調整
Authors: Dianbo Liu, Tim Miller
Abstract要約: 本研究では,データを移動せずに異なるサイロからの臨床テキストを用いて,BERTモデルの事前訓練と微調整を行うことが可能であることを示す。
参考スコア（独自算出の注目度）: 4.794677806040309
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large scale contextual representation models, such as BERT, have significantly advanced natural language processing (NLP) in recently years. However, in certain area like healthcare, accessing diverse large scale text data from multiple institutions is extremely challenging due to privacy and regulatory reasons. In this article, we show that it is possible to both pretrain and fine tune BERT models in a federated manner using clinical texts from different silos without moving the data.
Abstract（参考訳）: BERTのような大規模文脈表現モデルは近年、自然言語処理(NLP)が著しく進歩している。しかし、医療などの特定の分野では、プライバシーや規制上の理由から、複数の機関から多様な大規模テキストデータにアクセスすることは極めて困難である。本稿では,データを移動させることなく,異なるサイロからの臨床テキストを用いて,BERTモデルの事前訓練と微調整が可能であることを示す。

関連論文リスト

Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
論文参考訳（メタデータ） (2023-04-18T09:58:34Z)
Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文参考訳（メタデータ） (2023-02-09T16:07:31Z)
An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文参考訳（メタデータ） (2020-11-12T17:14:32Z)
Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文参考訳（メタデータ） (2020-10-06T15:21:08Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)
Pre-training technique to localize medical BERT and enhance biomedical BERT [0.0]
高品質で大容量のデータベースが公開されていないドメインでうまく機能する特定のBERTモデルを訓練することは困難である。本稿では,アップサンプリングと増幅語彙の同時事前学習という,一つの選択肢による1つの介入を提案する。我が国の医療用BERTは,医学文書分類タスクにおいて,従来のベースラインおよび他のBERTモデルよりも優れていた。
論文参考訳（メタデータ） (2020-05-14T18:00:01Z)
A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
論文参考訳（メタデータ） (2020-04-20T11:13:16Z)
Sensitive Data Detection and Classification in Spanish Clinical Text: Experiments with BERT [0.8379286663107844]
本稿では、BERTに基づくシーケンスラベリングモデルを用いて、スペイン語で匿名化実験を行う。実験により、汎用ドメイン事前学習を用いた単純なBERTモデルが、ドメイン固有の機能工学を使わずに、非常に競争力のある結果が得られることが示された。
論文参考訳（メタデータ） (2020-03-06T09:46:51Z)
What BERT Sees: Cross-Modal Transfer for Visual Question Generation [21.640299110619384]
補足データを用いた事前学習を回避して,BERTのアウト・オブ・ザ・ボックスの視覚能力について検討した。テキスト生成のためのBERTベースのアーキテクチャであるBERT-genを導入する。
論文参考訳（メタデータ） (2020-02-25T12:44:36Z)
Multilingual Denoising Pre-training for Neural Machine Translation [132.66750663226287]
mBART(mBART)は、大規模モノリンガルコーパスで事前訓練されたシーケンスからシーケンスまでの自動エンコーダである。 mBARTは、完全なシーケンス・ツー・シーケンスモデルを事前訓練する最初の方法の1つである。
論文参考訳（メタデータ） (2020-01-22T18:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。