Fugu-MT 論文翻訳(概要): When BERT Fails -- The Limits of EHR Classification

論文の概要: When BERT Fails -- The Limits of EHR Classification

arxiv url: http://arxiv.org/abs/2208.10245v1
Date: Tue, 26 Jul 2022 17:18:24 GMT
ステータス: 処理完了
システム内更新日: 2022-08-28 22:35:29.359655
Title: When BERT Fails -- The Limits of EHR Classification
Title（参考訳）: BERTが失敗したとき - EHR分類の限界
Authors: Augusto Garcia-Agundez and Carsten Eickhoff
Abstract要約: トランスフォーマーは、強力なテキスト表現学習者であり、あらゆる種類の臨床決定支援タスクに有用である。ここでは、そのような障害事例を1つ調べ、パフォーマンスの低下につながるパターンを報告します。
参考スコア（独自算出の注目度）: 12.094568420212848
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformers are powerful text representation learners, useful for all kinds of clinical decision support tasks. Although they outperform baselines on readmission prediction, they are not infallible. Here, we look into one such failure case, and report patterns that lead to inferior predictive performance.
Abstract（参考訳）: トランスフォーマーは強力なテキスト表現学習者であり、あらゆる種類の臨床決定支援タスクに役立ちます。読み出し予測のベースラインを上回っているが、不可能ではない。ここでは,このような障害事例を考察し,予測性能の低下につながるパターンを報告する。

関連論文リスト

Probing the Category of Verbal Aspect in Transformer Language Models [0.4757470449749875]
事前訓練された言語モデルがロシア語のアスペクトの文法的カテゴリーをどう符号化するかを検討する。代替および非代替的な文脈でBERTとRoBERTaを用いて探索を行う。実験ではBERTとRoBERTaがアスペクトをエンコードしている。
論文参考訳（メタデータ） (2024-06-04T14:06:03Z)
Language Models Are Poor Learners of Directional Inference [17.807086499130488]
LMはそのような方向推定を学習する能力に制限がある。既存のデータセットは方向テストに失敗する。既存の LM-prompting モデルは、無能な指向性エンターテイメント学習者である。
論文参考訳（メタデータ） (2022-10-10T13:43:16Z)
Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文参考訳（メタデータ） (2022-04-14T11:33:15Z)
Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文参考訳（メタデータ） (2021-12-15T15:17:02Z)
Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
論文参考訳（メタデータ） (2021-10-15T22:01:16Z)
Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
論文参考訳（メタデータ） (2021-08-06T05:20:46Z)
An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文参考訳（メタデータ） (2020-11-12T17:14:32Z)
Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
論文参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。