論文の概要、ライセンス

# (参考訳) 凍結言語モデルを用いた臨床即興学習 [全文訳有]

Clinical Prompt Learning with Frozen Language Models ( http://arxiv.org/abs/2205.05535v1 )

ライセンス: CC BY 4.0
Niall Taylor, Yi Zhang, Dan Joyce, Alejo Nevado-Holgado, Andrey Kormilitzin(参考訳) プロンプトラーニングは、自然言語処理(nlp)の分野で新しいパラダイムであり、多くの自然言語タスクにおいて印象的なパフォーマンスを示し、ベンチマークテキストデータセットをフル、少数、ゼロショットのトレーニング評価設定で提供する。 近年,大規模だが凍結した事前学習言語モデル (PLM) が,より小型だが微調整されたモデルよりも高速に学習できることが観察されている。 しかし、近年のNLPの動向と同様に、GPT-3のような最大のPLMでも、特定のドメイン(例えば医療用テキスト)では性能が良くなく、また、ステート・オブ・ザ・アート(SoTA)を達成するための一般的な実践は、下流タスクにおけるPLMの事前訓練と微調整によって構成されている。 非GPU環境においてデータが頻繁に保持される臨床環境では、微調整の大きなPLMへの依存が問題であり、特殊なドメインモデルを訓練するより効率的な手法が不可欠である。 臨床的に有意な意思決定課題における即時学習の有効性について検討し,従来の微調整法と直接比較した。 結果の一部はプロンプト学習文献と一致しており、トレーニング可能なパラメータが大幅に少なくなり、トレーニングデータが少なく、従来の微調整とマッチしたり改善したりすることができる。 そこで我々は,即時学習が臨床環境に適用可能な計算資源コストを低減し,PLMの増大に伴う微調整の代替となることを論じる。 この研究で提示された実験を再現するための補完コードは、https://github.com/N taylorOX/Public_Clin ical_Promptにある。

Prompt learning is a new paradigm in the Natural Language Processing (NLP) field which has shown impressive performance on a number of natural language tasks with common benchmarking text datasets in full, few-shot, and zero-shot train-evaluation setups. Recently, it has even been observed that large but frozen pre-trained language models (PLMs) with prompt learning outperform smaller but fine-tuned models. However, as with many recent NLP trends, the performance of even the largest PLMs such as GPT-3 do not perform well on specialized domains (e.g. medical text), and the common practice to achieve State of the Art (SoTA) results still consists of pre-training and fine-tuning the PLMs on downstream tasks. The reliance on fine-tuning large PLMs is problematic in clinical settings where data is often held in non-GPU environments, and more resource efficient methods of training specialized domain models is crucial. We investigated the viability of prompt learning on clinically meaningful decision tasks and directly compared with more traditional fine-tuning methods. Results are partially in line with the prompt learning literature, with prompt learning able to match or improve on traditional fine-tuning with substantially fewer trainable parameters and requiring less training data. We argue that prompt learning therefore provides lower computational resource costs applicable to clinical settings, that can serve as an alternative to fine-tuning ever increasing in size PLMs. Complementary code to reproduce experiments presented in this work can be found at: https://github.com/N taylorOX/Public_Clin ical_Prompt.
公開日: Wed, 11 May 2022 14:25:13 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Clinical Prompt Learning with 臨床用プロンプト・ラーニング 0.76
Frozen Language Models Niall Taylor1∗ Alejo Nevado-Holgado1 凍結言語モデル Niall Taylor1∗ Alejo Nevado-Holgado1 0.53
Yi Zhang1∗∗ Yi Zhang1∗∗ 0.35
Dan W Joyce1,2 Andrey Kormilitzin1 Dan W Joyce1,2 Andrey Kormilitzin1 0.35
2 2 0 2 y a M 1 1 2 2 0 2 y a m 1 1 である。 0.54
] L C . s c [ 1 v 5 3 5 5 0 ]LC。 sc [ 1 v 5 3 5 5 0 0.30
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
1Department of Psychiatry, University of Oxford, Oxford, OX3 7JX, UK 2NIHR Oxford Health Biomedical Research Centre, Oxford, OX3 7JX, UK オックスフォード大学精神医学部 OX3 7JX, UK 2NIHR Oxford Health Biomedical Research Centre, Oxford, OX3 7JX 0.74
{first_name}. first_name}です。 0.67
{last_name}@psych.ox.ac.uk last_name}@psych.ox.ac.uk 0.51
Abstract Prompt learning is a new paradigm in the Natural Language Processing (NLP) field which has shown impressive performance on a number of natural language tasks with common benchmarking text datasets in full, few-shot, and zero-shot train-evaluation setups. 概要 プロンプトラーニングは、自然言語処理(nlp)の分野で新しいパラダイムであり、多くの自然言語タスクにおいて印象的なパフォーマンスを示し、ベンチマークテキストデータセットをフル、少数、ゼロショットのトレーニング評価設定で提供する。 0.61
Recently, it has even been observed that large but frozen pre-trained language models (PLMs) with prompt learning outperform smaller but fine-tuned models. 近年,大規模だが凍結した事前学習言語モデル (PLM) が,より小型だが微調整されたモデルよりも高速に学習できることが観察されている。 0.64
However, as with many recent NLP trends, the performance of even the largest PLMs such as GPT-3 do not perform well on specialized domains (e g medical text), and the common practice to achieve State of the Art (SoTA) results still consists of pre-training and fine-tuning the PLMs on downstream tasks. しかし、近年のNLPの動向と同様に、GPT-3のような大規模PLMでも、特定のドメイン(例えば医療用テキスト)では性能が良くなく、また、State of the Art(SoTA)を達成するための一般的な実践は、下流タスクにおけるPLMの事前学習と微調整から成り立っている。 0.59
The reliance on fine-tuning large PLMs is problematic in clinical settings where data is often held in non-GPU environments, and more resource efficient methods of training specialized domain models is crucial. 非GPU環境においてデータが頻繁に保持される臨床環境では、微調整の大きなPLMへの依存が問題であり、特殊なドメインモデルを訓練するより効率的な手法が不可欠である。 0.64
We investigated the viability of prompt learning on clinically meaningful decision tasks and directly compared with more traditional fine-tuning methods. 臨床的に有意な意思決定課題における即時学習の有効性について検討し,従来の微調整法と直接比較した。 0.55
Results are partially in line with the prompt learning literature, with prompt learning able to match or improve on traditional fine-tuning with substantially fewer trainable parameters and requiring less training data. 結果の一部はプロンプト学習文献と一致しており、トレーニング可能なパラメータが大幅に少なくなり、トレーニングデータが少なく、従来の微調整とマッチしたり改善したりすることができる。 0.68
We argue that prompt learning therefore provides lower computational resource costs applicable to clinical settings, that can serve as an alternative to fine-tuning ever increasing in size PLMs. そこで我々は,即時学習が臨床環境に適用可能な計算資源コストを低減し,PLMの増大に伴う微調整の代替となることを論じる。 0.80
Complementary code to reproduce experiments presented in this work can be found at: https: //github.com/Ntaylor OX/Public_Clinical_P rompt この研究で示された実験を再現するための補完的なコードは、https: //github.com/ntaylor ox/public_clinical_p romptで見ることができる。 0.40
Index terms— Prompt learning, BERT, transfer learning, clinical decision support, few-shot インデックス用語 — プロンプト学習、BERT、トランスファー学習、臨床決定支援、少数ショット 0.73
1 Introduction The field of Natural Language Processing (NLP) has seen a surge in the use of deep learning in recent years, partly due to the increased capacity and availability of powerful GPUs and cloud computing globally. 1 はじめに 自然言語処理(NLP)の分野は近年,強力なGPUとクラウドコンピューティングのグローバルな使用能力の増大によって,ディープラーニングの利用が急増している。 0.54
Both academic and industry research have subsequently become dominated by the use of large Pretrained Language Models (PLMs), which are typically commercially produced and trained on enormous amounts of text data in a self-supervised manner through language modelling objectives such as Masked Language Modeling (MLM) and next word prediction. 学術研究と産業研究はその後、大規模事前学習言語モデル (PLM) によって支配され、一般に、マスケッド言語モデリング (MLM) や次の単語予測のような言語モデリングの目的を通じて、大量のテキストデータを自己管理的に商業的に生産し、訓練する。 0.79
Two major PLM families are the bidirectional encoder representations from transformers (BERT) Devlin et al [2019] which originally had 110 million trainable parameters, and Generative Pre-trained Transformer 3 (GPT- 2つの主要なPLMファミリーは、もともと1億1000万のトレーニング可能なパラメータを持つ変換器(BERT)の双方向エンコーダ表現であるDevlin et al [2019]と、生成前トレーニングトランス3(GPT)である。
訳抜け防止モード: 2つの主要なPLMファミリーは、もともと1億1000万のトレーニング可能なパラメータを持つ変換器(BERT)の双方向エンコーダ表現である。 および生成前訓練変圧器3(GPT)
0.78
∗These authors contributed equally to this work. これらの著者はこの作品に等しく貢献した。 0.57
Preprint. Under review. プレプリント。 レビュー中。 0.63
英語(論文から抽出)日本語訳スコア
3) Radford et al [2019], Brown et al [2020a] and the new Meta’s Open Pre-trained Transformer Language Model (OPT) Zhang et al [2022], with ∼ 175 billion parameters. 3) Radford et al [2019], Brown et al [2020a], and the new Meta’s Open Pre-trained Transformer Language Model (OPT) Zhang et al [2022]。
訳抜け防止モード: 3 ) Radford et al [ 2019 ], Brown et al [ 2020a ] そして新しいMeta ’s Open Pre - Training Transformer Language Model (OPT ) Zhang et al [2022 ], 175億のパラメータを持つ。
0.72
With these PLMs one can fine-tune on new domains and design downstream tasks with relative ease, often resulting in state-of-the-art results on a number of popular datasets and tasks Devlin et al [2019], Lester et al [2021]. これらのplmでは、新しいドメインを微調整し、比較的簡単に下流のタスクを設計できるため、人気の高いデータセットやタスクの最新の結果がdevlin et al [2019]、lester et al [2021]にもたらされることが多い。 0.60
However, "out of the box" PLMs typically do not perform well on out-of-domain texts Han et al [2021]: Thus taking a BERT model trained on non-medical texts and applying it to a niche medical text domain often leads to a lackluster performance Lee et al [2019], Huang et al [2019]. しかし、"アウト・オブ・ザ・ボックス"のplmは通常、ドメイン外のテキストであるhan et al [2021] ではうまく機能しない: 医学的でないテキストでトレーニングされたbertモデルをニッチな医療用テキストドメインに適用すると、lee et al [2019], huang et al [2019] などのパフォーマンスが低下することが多い。 0.65
Instead domain specific PLMs are often created through continued pre-training on domain specific corpora when available Alsentzer et al [2019], Peng et al [2019], Gururangan et al [2020], Senior et al [2020], Vaci et al [2021]. その代わりにドメイン固有のPLMは、Alsentzer et al [2019], Peng et al [2019], Gururangan et al [2020], Senior et al [2020], Vaci et al [2021] が利用できる場合に、ドメイン固有のコーパスの継続的な事前トレーニングを通じて作成されることが多い。 0.77
Moreover, to then leverage the knowledge of these domain specific PLMs to achieve a downstream task requires further training of a task-specific module, such as a classification head, attached to the end of the PLM Devlin et al [2019], Wolf et al [2020]. さらに、ダウンストリームタスクを達成するためにこれらのドメイン固有のplmの知識を活用するには、plm devlin et al [2019], wolf et al [2020]の最後に付属する分類ヘッドのようなタスク固有のモジュールのさらなるトレーニングが必要である。 0.76
Typically downstream task fine-tuning requires further training of all of the PLMs parameters, in addition to the attached task specific head(s). 通常、ダウンストリームタスクの微調整は、付加されたタスク固有のヘッダに加えて、全てのPLMパラメータのさらなるトレーニングを必要とする。 0.61
This fine-tuning approach is suitable when the application domain has an abundance of text data, which in many situations is not feasible. この微調整アプローチは、アプリケーションドメインが大量のテキストデータを持っている場合に適しているが、多くの状況では実現不可能である。
訳抜け防止モード: この素晴らしい – チューニングアプローチが適している時 アプリケーションドメインには大量のテキストデータがあり、多くの状況では実現不可能です。
0.73
For instance in clinical settings, there are major data privacy issues and consequently large open medical datasets are difficult to produce. 例えば、臨床環境では、データプライバシに大きな問題があり、その結果、大きなオープンな医療データセットの生成が困難になる。
訳抜け防止モード: 例えば、臨床環境では、データプライバシーに大きな問題がある 大規模な医療データセットを 作成するのは困難です
0.81
On top of this, the written language used in clinical text can differ drastically to that of the same language found in general written texts, and even between clinical institutions Huang et al [2019], Leaman et al [2015], Kormilitzin et al [2021]. これに加えて、臨床テキストで使われる言語は、一般的なテキストで見られるのと同じ言語の言語と大きく異なり、臨床機関のHuang et al [2019]、Leaman et al [2015]、Kormilitzin et al [2021]でさえも異なる。 0.73
Together this makes creating general purpose clinical PLMs quite difficult. これにより、汎用的な臨床PLMの作成が極めて困難になる。 0.56
Additionally, the NLP community has seen a trend of increasing model size to enhance performance; Microsoft recently produced a monolithic 530 billion parameter model named Megatron for state of the art performance on generative tasks Smith et al [2022]. さらに、NLPコミュニティは、パフォーマンスを向上させるためにモデルのサイズを拡大する傾向にある。Microsoftは最近、Smith氏ら[2022]による生成タスクのアートパフォーマンスの状況を示す、Megatronという名前のモノリシックな5300億のパラメータモデルを作成した。 0.60
Whilst impressive, to utilise such models for specific domains of interest will likely require full or partial fine-tuning, which has the massive computational, financial investment and of course, environmental impacts Bender et al [2021]. 驚くべきことに、そのようなモデルを特定の分野に利用するためには、完全なまたは部分的な微調整が必要になり、それは膨大な計算、財務投資を持ち、もちろん環境への影響はBenderら [2021] である。 0.56
Regardless of the size issues of the PLMs, there is still a real benefit in their application to new domains and downstream tasks through traditional fine-tuning, including the biomedical domain Huang et al [2019], Alsentzer et al [2019], van Aken et al [2021]. PLMのサイズの問題にかかわらず、バイオメディカルドメインであるHuang et al [2019]、Alsentzer et al [2019]、van Aken et al [2021]など、従来の微調整を通じて、新しいドメインや下流タスクへの適用には、依然として大きなメリットがあります。 0.71
The persistent concern is the need to fine-tune both the entire PLM and task specific head to produce viable performance on many tasks. 永続的な懸念は、多くのタスクで実行可能なパフォーマンスを得るために、PLM全体とタスク固有のヘッドの両方を微調整する必要があることである。
訳抜け防止モード: 永続的な懸念はニーズである 多くのタスクで実行可能なパフォーマンスを実現するために、PLM全体とタスク固有のヘッドを調整します。
0.59
In the case of the recently produced super large PLMs, this can require the continual training of models that require large suites of high end GPUs, with proportional financial costs. 最近生産された超大型PLMの場合、これは比例的なコストで、ハイエンドGPUの大きなスイートを必要とするモデルの継続的なトレーニングを必要とする可能性がある。 0.61
GPUs and high-performance computing clusters are rarely available to hospitals and community clinics that hold much of the existing medical data. GPUと高性能コンピューティングクラスタは、既存の医療データの多くを保持する病院やコミュニティクリニックではほとんど利用できない。 0.76
Further to this, traditional fine-tuning can lead to a very specific fine-tuned model that is now very far from its initial pre-trained state, which may cause catastrophic forgetting of the pretrained knowledge Chen et al [2020]. さらに、従来の微調整は、現在その初期の事前訓練状態から非常に遠く離れている非常に特異な微調整モデルをもたらす可能性があるため、事前訓練された知識である Chen や al [2020] を破滅的に忘れてしまう可能性がある。 0.60
Fine-tuning has also been reported to exploit spurious correlations of the smaller domain-specific dataset, damaging its generalizability Gururangan et al [2018], Niven and Kao [2019]. ファインチューニングはまた、小さなドメイン固有のデータセットの急激な相関を利用して、その一般化可能性であるGururangan et al [2018], Niven and Kao [2019]を損なうと報告されている。 0.54
We have also observed this lack of generalizability in medical text when fine-tuning and then validating across American and British English Hofer et al [2018]. 微調整時の医学テキストの一般化可能性の欠如を観察し,米国および英国英語のhofer et al[2018]を検証した。 0.66
Considering the limitations outlined above, we recognise there is now a movement in the NLP community back towards resource efficient training regimes and models to avoid the need for full scale domain specific training. 上記の制限を踏まえると,NLPコミュニティでは,本格的なドメイン特化トレーニングの必要性を回避するため,資源効率のよいトレーニング体制やモデルへの回帰の動きが認識されている。 0.79
One promising strategy is known as prompt learning, which aims to close the design gap between the PLMs training objectives and downstream tasks by reformulating the downstream tasks as language modelling objectives Li and Liang [2021], Liu et al [2021a]. PLMのトレーニング目標と下流タスクの間の設計ギャップを埋めることを目的として,言語モデリング目標であるLiとLiang[2021],Liu et al[2021a]として,下流タスクを再構築する。 0.75
Prompt learning has evolved from earlier works which have reformulated all NLP downstream tasks as text-to-text tasks Raffel et al [2020] and more recently using task examples within the input text as a form of prompt in auto-regressive PLMs Brown et al [2020b]. プロンプト学習は、すべてのNLP下流タスクをテキスト・トゥ・テキストタスクとして再構成した初期の作品から発展しており、最近では自動回帰型PLMにおけるプロンプトの形式として入力テキスト内のタスク例を用いている。 0.68
An exciting direction in the prompt learning research space has been its potential in few-shot or low resource settings, relying on frozen PLMs Tsimpoukelli et al [2021] instead of fine-tuning them: The number of parameters to train decreases dramatically when using frozen PLMs and thus reduces computational requirements Lu et al [2021]. プロンプト・ラーニング研究分野におけるエキサイティングな方向性は、細かいチューニングではなく、凍結したplm tsimpoukelli et al [2021]に頼ることで、少数または低いリソース設定でその可能性を秘めている: 凍結したplmを使用すると、トレーニングするパラメータの数は劇的に減少し、計算要件lu et al [2021]を減少させる。 0.65
The major gap in the literature is in the application of prompt learning to clinical or biomedical datasets, and in particular clinical support tasks. 文学における大きなギャップは、臨床または生物医学のデータセット、特に臨床支援タスクへの即興学習の適用である。 0.79
We explore the suitability and performance of prompt learning applied to clinical classification tasks with a direct comparison to traditional fine-tuning methods in full and few-shot training scenarios. 本研究は,臨床分類タスクに適用された即時学習の適応性と性能を,フルおよび数発の訓練シナリオにおける従来の微調整手法と直接比較するものである。 0.63
Our primary focus is on the performance of these approaches when using a frozen PLM, which is desirable for many reasons, but primarily the consequent reduction in training cost and computational resources required to adapt to new domains or downstream tasks. 我々の主な焦点は、凍結PLMを使用する際のこれらの手法の性能であり、多くの理由から望ましいが、新しいドメインや下流タスクに適応するのに必要なトレーニングコストと計算リソースの削減が主な理由である。 0.69
Conceptually we are not introducing a new methodology, rather exploring different applications of prompt learning to the biomedical 概念的には、新しい方法論を導入するのではなく、生物医学への即興学習の異なる応用を探求する。 0.63
2 2 0.42
英語(論文から抽出)日本語訳スコア
domain and importantly to clinical tasks, rather than simple natural language probing tasks. 単純な自然言語探索タスクではなく、ドメインと重要な臨床タスク。 0.74
We observed that prompt learning strategies can outperform traditional fine-tuning on different clinical tasks in both few-shot and full training scenarios with frozen PLMs. 凍結したPLMを用いた数発の訓練シナリオとフルトレーニングシナリオの両方において,早期学習戦略は,異なる臨床タスクにおける従来の微調整よりも優れることがわかった。 0.53
This work can serve as a prompt learning framework for clinical tasks and as a basis for further work in this space. この作業は、臨床タスクのための即興学習フレームワークとして、またこの分野におけるさらなる作業の基盤として機能することができる。 0.66
2 Related Work Since the summer of 2021 there has been a steady influx of research papers concerning prompt learning for common benchmarking open-NLP datasets such as Stanford Sentiment Treebank v2 (SST2), and the General Language Understanding Evaluation (GLUE) Liu et al [2021a], Brown et al [2020b], Sanh et al [2022], Lester et al [2021], Liu et al [2021b], Li and Liang [2021]. 2 関連作業 2021年の夏以降、Stanford Sentiment Treebank v2 (SST2) や General Language Understanding Evaluation (GLUE) Liu et al [2021a], Brown et al [2020b], Sanh et al [2022], Lester et al [2021b], Liu et al [2021b], Li and Liang [2021b] といったオープンNLPデータセットの早期学習に関する研究論文が絶え間なく流入してきた。 0.80
The datasets and tasks are standard in the field of NLP, and revolve around natural language understanding (NLU) tasks. データセットとタスクはNLPの分野で標準であり、自然言語理解(NLU)タスクを中心に進化している。 0.77
The common finding is that prompt learning can reach the performance of traditional fine-tuning, and often outperform in few-shot settings. 一般的な発見は、プロンプト学習が従来の微調整のパフォーマンスに到達できることだ。 0.58
Although the ability of prompt learning to match performance of traditional fine-tuning seems to scale with PLM size Liu et al [2021b]. 従来の微調整性能に即習学習の能力はPLMサイズ(Lu et al [2021b])に匹敵すると思われる。 0.71
One notable paper has investigated the use of GPT-3 for biomedical text datasets in a few-shot setting, finding a decrease in performance when compared to similar tasks in the standard NLU datasets Moradi et al [2021]. バイオメディカルテキストデータセットにGPT-3を使用した場合,標準的なNLUデータセットであるMoradi et al[2021]と比較すると,性能が低下することがわかった。 0.59
This suggests that even the largest PLMs cannot be applied directly to specialised domains and expect good performance, and that domain specific PLMs are still sought for optimal results. このことは、最も大きなPLMでさえ、特定のドメインに直接適用できず、優れたパフォーマンスを期待できず、ドメイン固有のPLMも最適な結果を求めることを示唆している。 0.55
Recently, prompt learning was used to investigate the zero-shot performance on a clinical task using different PLMs and manual prompt templates Sivarajkumar and Wang [2022]. 近年,手動プロンプトテンプレートSivarajkumar と Wang [2022] を用いて,臨床作業におけるゼロショット性能を調査するために,プロンプト学習を用いた。 0.80
They found that biomedically trained PLMs outpeformed general PLMs for one task, and we hope to extend these findings by introducing different prompt learning training strategies and clinical tasks. バイオメディカルに訓練されたPLMは1つのタスクで一般PLMよりも優れており、異なる迅速な学習訓練戦略や臨床タスクを導入してこれらの結果を拡張したい。 0.57
3 Methods 3.1 Traditional fine-tuning 3つの方法 3.1 伝統的微調整 0.58
Conventional fine-tuning can be achieved by adding task-specific layer(s) or entire multi-layer perceptron (MLPs). 従来の微調整は、タスク固有層(s)または全多層パーセプトロン(mlps)を追加することで実現できる。 0.65
The exact approach to processing the PLM output is dependent on the task. PLM出力を処理するための正確なアプローチは、そのタスクに依存する。 0.75
Figure 1: Illustration of conventional fine-tuning method, with an option to freeze the PLM, shown in dotted line. 図1: ドット線で示されるPLMを凍結するオプションを備えた従来の微調整手法の図示。 0.71
Here [CLS] and [SEP] tokens are special tokens for BERT-based models that are added to the beginning and end of sequences. ここで[CLS]と[SEP]トークンは、シーケンスの開始と終了に追加されるBERTベースのモデルの特別なトークンです。 0.70
In the case of document classification, the downstream task head is an MLP fMLP(·) which takes the pooled sentence embedding output by the PLM as input and generates an n-dimensional vector, where n is the number of classes. 文書分類の場合、下流タスクヘッドはMLP fMLP(·)であり、PLMが出力するプールされた文の埋め込みを入力とし、nがクラス数であるn次元ベクトルを生成する。 0.75
That is, given an input text x, we first process the raw input with the PLM to get the m- dimensional embedding of each token. すなわち、入力テキスト x が与えられた場合、まず PLM で生の入力を処理し、各トークンの m-次元埋め込みを得る。 0.67
Then a pooling operation, such as その後、プール操作などを行う。 0.68
3 Patient is complaining of severe chest pain Pretrained Tokenizer and Encoder (Bio-ClinicalBERT)Wh ole Sentence Embedding Classfication Head Softmax operation Aggregation algorithmBack propagation(Optional ) Back propagation 3 重度の胸痛既熟化トークン化剤とエンコーダ(バイオクリニカルバート)に不満を呈し, 文内埋め込みヘッドソフトマックス動作集約アルゴリズムバック伝播(optional)を呈する。 0.56
英語(論文から抽出)日本語訳スコア
the mean, as applied to all token embeddings to produce a singular sentence embedding h(x) of the same dimension m. 平均は、すべてのトークン埋め込みに適用され、同じ次元 m の h(x) を埋め込む特異な文を生成する。 0.68
Then h(x) is fed to the MLP block in a standard feed-forward manner to get the probability across n classes with a softmax operator: その後、h(x) は標準フィードフォワード方式で mlp ブロックに供給され、n 個のクラスにまたがる確率をsoftmax演算子で得る。 0.76
P (y | x) = P (y | x) = 0.42
exp ((cid:80)n exp ((cid:80)n 0.46
exp ((fMLP (h(x))y) exp ((fMLP (h(x)))y) 0.45
i=1 fMLP(h(x))i) i=1 fMLP(h(x))i 0.46
. The MLP block can have any depth of layers m ∈ N, while in our experiments, we opted for d = 2. . MLPブロックは任意の層 m ∈ N の深さを持つことができるが、実験ではd = 2 を選択した。 0.64
Since the additional MLP block and PLMs are modular, their respective parameters are stored separately and we can opt to freeze the parameters of one or the other. 追加の MLP ブロックと PLM はモジュール化されているため、それぞれのパラメータは別々に格納され、一方のパラメータを凍結することも可能である。 0.82
An example of processing a short input text sequence using this method is shown in Fig 1. この方法を用いた短い入力テキストシーケンスの処理例を図1に示す。 0.77
3.2 Prompt Learning 3.2 プロンプト学習 0.72
Generally, prompt learning can be achieved via the following steps: Given an input text x, we modify it to a prompt format x(cid:48) = fp(x), where fp, often called a template, will normally prepend, append, or insert a number of additional token embeddings to the original input along with a masked token, denoted by <[MASK]>. 入力テキスト x が与えられた場合、fp をプロンプトフォーマット x(cid:48) = fp(x) に変更し、fp はテンプレートと呼ばれ、通常、<[MASK]> で表されるマスク付きトークンとともに、元の入力に埋め込み、追加のトークンをプリペンド、追加、または挿入する。
訳抜け防止モード: 一般に、プロンプト学習は次のステップで達成できる: 入力テキストx。 これをプロンプト形式 x(cid:48 ) = fp(x ) に変更する。 fpはテンプレートと呼ばれることが多いが、通常は推奨される。 マスクされたトークンとともに、元の入力にいくつかの追加トークンを埋め込む、または挿入する。 は < [ mask ] > と表記される。
0.71
We then feed x(cid:48) into the PLM to predict the masked token, which is the same as the Masked Language Modelling (MLM) pre-training objective of most BERT-based models. 次に、PLMにx(cid:48)を入力し、ほとんどのBERTベースのモデルのMasked Language Modelling(MLM)のトレーニング対象であるマスク付きトークンを予測する。 0.68
The result of the model will be a distribution over the fixed vocabulary V of the tokenizer. モデルの結果は、トークン化子の固定語彙 V 上の分布となる。 0.68
A second and crucial step is to map tokens or words in the known vocabulary of the PLM to class labels in the downstream task, achieved with a mapping g : V (cid:55)→ C, where C is the set of classes. 第二に重要なステップは、PLMの既知の語彙のトークンや単語を下流タスクのクラスラベルにマッピングし、マッピング g : V (cid:55) → C で達成し、C はクラスの集合である。 0.77
This is known as answer engineering, or verbalization (we will use the term verbalizer and verbalization throughout). これは「回答工学」、あるいは「動詞化」と呼ばれる(「動詞化」という用語は全体として使われる)。 0.48
The verbalizer can be seen as a mapping between single, or multiple different tokens to distinct class labels. 動詞化子は、単一または複数の異なるトークンと異なるクラスラベルの間のマッピングと見なすことができる。 0.73
The embedding or hidden state represented at the <[MASK]> position output by the PLM is then passed through a standard language model head, or classifier, and probabilities of the verbalizer derived class label tokens are derived. PLMが出力する<[MASK]>位置で表される埋め込み状態または隠れ状態は、標準言語モデルヘッドまたは分類器に渡され、動詞化子由来のクラスラベルトークンの確率が導出される。 0.77
A simple prompt-based clinical classification example could be to determine whether a patient has heart disease with class labels as sick and healthy, a prompt learning setup could be as follows: Take the template “<clinical text> <prompt=“Patient is”> <[MASK]>”, where <clinical text> represents the original input text, the <[MASK]> token is the label or class to predict. 簡単なプロンプトベースの臨床分類の例は、患者の心臓病が病気で健康であるかどうかを判断することであり、即時学習の仕組みは以下の通りである: テンプレート "<clinical text> <prompt= “Patient is"> <[MASK]>" は、<clinical text>が元の入力テキストを表し、<[MASK]>トークンが予測するラベルまたはクラスである。 0.77
The verbalizer will map certain tokens to each class of sick and healthy separately, essentially a dictionary mapping e g { “Healthy”: ‘fine’, and “Sick”: ‘unwell’}. 動詞化子は、特定のトークンを病気と健康の各クラスに別々にマッピングし、基本的には、eg { “Healthy”: ‘fine’: “Sick”: ‘unwell’} という辞書マッピングを行う。 0.77
Subsequently if the token predicted at the <[MASK]> position is ’fine’ then this will be mapped to the Healthy class. その後、<[MASK]>位置で予測されたトークンが‘fine’であれば、これはHealthyクラスにマップされる。 0.72
Thus, the sentence “Patient is complaining of severe chest pain.” will first be wrapped by the pre-defined template as “Patient is complaining of severe chest pain. Patient is <[MASK]>”. したがって、「患者は重い胸痛を訴えている」という文は、「患者は重い胸痛を訴えている。患者は<[mask]>である」と予め定義されたテンプレートで包まれる。 0.66
The wrapped sentence is then tokenized and fed into the PLM to predict the distribution over vocabulary on the <[MASK]> token position, although we just care about the probabilities of the tokens (‘fine’ and ‘unwell’) that are mapped to each of the classes that are contained in V, with “unwell” hopefully having a higher probability to be predicted by the masked language model predictor and the class “sick” ultimately being predicted. その後、包まれた文はトークン化され、plmに送られ、<[mask]>トークンの位置の語彙上の分布を予測するが、単に v に含まれる各クラスにマッピングされるトークン( ‘fine’ と ‘unwell’)の確率を気にするだけであり、"unwell" はマスク言語モデル予測器によって予測される確率が高く、最終的に "sick" クラスが予測される。 0.77
We offer an illustration of the basic prompt framework in Fig 2. 図2の基本的なプロンプトフレームワークの例を示します。 0.71
Within the broad prompt learning framework there are important decisions to make about the construction of prompt templates and verbalizers. 広範なプロンプト学習フレームワークには、プロンプトテンプレートと言語化ツールを構築するための重要な決定がある。 0.73
At its infancy templates were manually created, often based on human knowledge of the task domain, with massive variance in performance with even subtle perturbations of the template and verbalizer Lester et al [2021], Hu et al [2021]. 初期のテンプレートは手作業で作成され、しばしばタスクドメインの人間的知識に基づいており、テンプレートの微妙な摂動や動詞化子 lester et al [2021], hu et al [2021] によるパフォーマンスの大幅なばらつきがあった。 0.81
To enable a standardised framework for prompt learning a team have developed OpenPrompt to enable reproducible prompt based research by creating a open source and unified code-base Ding et al [2021]. オープンソースで統一されたコードベース ding et al[2021]を作成して、再現可能なプロンプトベースの研究を可能にするために、チームがopenpromptを開発した。 0.75
We shall first define the templates and verbalizers used in the framework and our experiments. まず、フレームワークと実験で使用されるテンプレートと言語化ツールを定義します。 0.64
We refer to the classical prompt learning strategy with handcrafted templates and verbalizers as manual templates and manual verbalizers respectively. 本稿では,手書きテンプレートと手書きテンプレートを用いた古典的プロンプト学習戦略について述べる。 0.67
This strategy was first proposed as the Pattern-Exploiting Training (PET) Schick and Schütze [2021]. この戦略は最初、PET (Pattern-Exploiting Training) Schick and Schütze [2021]として提案された。 0.76
We denote the set of words in the verbalizer for each class y ∈ C to be V y. 各クラス y ∈ C の動詞化子における単語の集合を V y とする。 0.68
The probability of each class given the input x and its prompt x(cid:48) is thus: 入力xとそのプロンプトx(cid:48)を与えられた各クラスの確率は次のようになる。 0.74
P (y | x) = P (y | x) = 0.42
(cid:16) 1|V y| (cid:17) (cid:80) (cid:16) 1|V i| (cid:80) t∈V y PM (t | x(cid:48)) t∈V i PM (t | x(cid:48)) (cid:16) 1|v y| (cid:17) (cid:80) (cid:16) 1|v i| (cid:80) tmgv y pm (t | x(cid:48)) tmgv i pm (t | x(cid:48)) 0.36
(cid:17) . exp (cid:17)。 exp 0.59
(cid:80)|C| (cid:80)|c| 0.32
i=1 exp Manual templates and verbalizers are discrete and bounded to the PLMs vocabulary, so there are no extra parameters to train, although fine-tuning the PLM is possible. i=1 exp 手動テンプレートと動詞化子はplmの語彙に離散的かつ境界的であるため、plmを微調整することは可能であるが、訓練する余分なパラメータは存在しない。 0.46
4 4 0.42
英語(論文から抽出)日本語訳スコア
Figure 2: Illustration of manual template and verbalizer in prompt learning. 図2: 素早い学習における手動テンプレートと言語化の図示。 0.77
The engineering of the manual components of prompt learning is not straight forward, with large variations in performance emerging from small changes to the tokens, and typically domain expertise is required. 素早い学習のための手動コンポーネントのエンジニアリングは、直接ではなく、トークンへの小さな変更から大きなパフォーマンス変化が生じ、通常はドメインの専門知識が必要になる。 0.73
One can however sacrifice the human interpretability of the manual components and create trainable or soft prompt components. しかし、手動コンポーネントのヒューマン解釈性を犠牲にして、トレーニング可能な、あるいはソフトなプロンプトコンポーネントを作成することができる。
訳抜け防止モード: しかし手動部品の人間の解釈可能性を犠牲にできる トレーニング可能な、あるいはソフトなプロンプトコンポーネントを作成します。
0.66
Soft prompt learning operates in the same manner as manual approach, but replaces the fixed manual components with trainable embeddings (continuous vectors) of same dimension as the original PLM. ソフトプロンプト学習は手動のアプローチと同様に動作するが、固定された手動のコンポーネントを元のplmと同じ次元のトレーニング可能な埋め込み(連続ベクトル)に置き換える。 0.75
The error from the downstream task can then be backpropagated to tune only the embeddings for the template and verbalizer Lester et al [2021]. ダウンストリームタスクからのエラーは、テンプレートと動詞化子lester et al [2021]の埋め込みのみをチューニングするためにバックプロパゲーションされる。 0.75
Normally, a manual template has the form of x(cid:48) = {[P0, P1, . . . , Pj] , x, [Pj+1, Pj+2, . . . , Pk] , [MASK]}, where for i ∈ {0, 1, . . . , k}, Pi denotes the token of the template. 通常、手動テンプレートは x(cid:48) = {[P0, P1, . . , Pj] , x, [Pj+1, Pj+2, . . . , Pk] , [MASK]} の形式を持ち、ここで i ∈ {0, 1, . , k} に対して Pi はテンプレートのトークンを表す。 0.86
And since x(cid:48) is fed to the PLM to get h(x(cid:48)), the prompt tokens Pi are also mapped to the embedding space, where we can assume h(Pi) to be optimized during training and such tokens are denoted as <[soft]> in the template format. そして、x(cid:48) は plm に供給され h(x(cid:48)) を得るので、プロンプトトークン pi も埋め込み空間にマッピングされ、h(pi) はトレーニング中に最適化され、そのようなトークンはテンプレートフォーマットで <[soft]> と表記される。
訳抜け防止モード: また、x(cid:48 ) は PLM に供給され、h(x(cid:48 ) ) を得る。 プロンプトトークンPiも埋め込み空間にマッピングされる。 h(Pi ) をトレーニング中に最適化できると仮定します このようなトークンはテンプレートフォーマットで < [ soft ] > と表記されます。
0.79
A template where all tokens are <[soft]> is called a soft template, while a template with a mixture of manual and <[soft]> tokens is called a mixed template. すべてのトークンが<[soft]>であるテンプレートはソフトテンプレートと呼ばれ、手動と<[soft]>トークンの混在したテンプレートは混合テンプレートと呼ばれる。 0.67
Figure 3: Illustration of soft template and verbalizer in prompt learning. 図3: 素早い学習におけるソフトテンプレートと動詞化の例。 0.72
If the <[soft]> token P2 is not defined manually in advance, the embedding h(P2) ∈ Rm will be randomly initialized in the hidden space. もし <[soft]> トークン P2 が事前に手動で定義されないなら、埋め込み h(P2) ∈ Rm は隠れた空間でランダムに初期化される。 0.80
Similarly, a soft verbalizer can be assumed as replacing words in verbalizer with trainable vectors for each class. 同様に、ソフトな動詞化器は、各クラスの訓練可能なベクトルに動詞化器の単語を置き換えるものとみなすことができる。
訳抜け防止モード: 同様に、ソフトな言葉遣いも考えられる。 言葉遣いの単語を クラスごとに訓練可能なベクトルに置き換えます
0.78
Therefore, when using the soft verbalizer, there is no need to build the mapping from したがって、ソフトな動詞を用いた場合、マッピングを構築する必要はない。 0.69
5 Patient is complaining of severe chest pain.Patient is[MASK]Pretrained Masked Language ModelProbability Distribution over Vocabulary: Verbalizer filtering Verbalizer mapping(Optional) Back propagationMasked token predictionPatient is complaining of severe chest pain. 5 患者は重症胸痛を訴えています。患者は[mask]プリトレーニングされたマスク付き言語モデル確率分布 語彙以上: 動詞化フィルタ 動詞化マッピング(オプション) バックプロダクション トークン予測 患者は重症胸痛を訴えています。 0.54
[Pseudo Token][MASK]Pretrained Language Model Encoder Patient is Input text sequence Fixed prompt Soft prompt [MASK]Masked Language Model Processor Soft verbalizer Inner product & Softmax Prompt input [Pseudo Token][MASK]Pretrained Language Model Encoder patient is Input text sequence Fixed prompt [MASK]Masked Language Model Processor Soft verbalizer inner product & Softmax Prompt input
訳抜け防止モード: [ pseudo token][mask]pretrained language model encoder patient is input text sequence fixed prompt soft prompt [ mask]masked language model processor soft verbalizer inner product ソフトマックス・プロンプト・インプット
0.76
英語(論文から抽出)日本語訳スコア
vocabulary V to class labels C as the trainable vectors do not have semantic meaning. 訓練可能なベクトルとしてのクラスラベル C への語彙 V は意味論的意味を持たない。 0.68
The resulting verbalizer then becomes a matrix operator Θ ∈ Rn×m, where n represents the number of classes and m represents the dimension of generated hidden embeddings. 結果として得られる動詞化子は行列作用素 θ ∈ rn×m となり、ここで n はクラスの数、m は生成される隠れ埋め込みの次元を表す。 0.57
For better understanding, we denote the i-th row of Θ as θi for each trainable vector of class i. よりよく理解するために、クラス i の訓練可能なベクトルごとに θi の i-列を θi と表現する。 0.69
To compile with the soft verbalizer which takes hidden embeddings from the PLM as input, the original decoder head of the PLM is removed. PLMから隠れ埋め込みを入力として取り込むソフトな動詞処理器でコンパイルする際、PLMの本来のデコーダヘッドを除去する。 0.72
We denote the resulting mapping from h(x(cid:48)) ∈ Rl×m to the prediction of hidden representation of <[MASK]> as fmask : Rl×m → Rm, where l is the sequence length of x(cid:48). h(x(cid:48)) ∈ Rl×m から fmask : Rl×m → Rm として <[MASK]> の隠れ表現の予測への写像、すなわち l は x(cid:48) の列長である。
訳抜け防止モード: h(x(cid:48 ) ) ∈ Rl×m から < [ MASK ] > の隠れ表現の予測への結果の写像を fmask : Rl×m → Rm とする。 ここで l は x(cid:48 ) の列の長さである。
0.84
Therefore, the probability of class y given the input x and its prompt x(cid:48) can be calculated by したがって、入力xとそのプロンプトx(cid:48)を与えられたクラスyの確率を計算できる。 0.84
P (y | x) = P (y | x) = 0.42
exp(cid:0)θ(cid:62) i=1 exp(cid:0)θ(cid:62) (cid:80)n exp(cid:0)θ(cid:62) i=1 exp(cid:0)θ(cid:62) (cid:80)n 0.38
y fmask(h(x(cid:48)))( cid:1) i fmask(h(x(cid:48)))( cid:1) . y fmask(h(x(cid:48)))( cid:1) i fmask(h(x(cid:48))(c id:1) である。 0.83
For further details and origins of prompt learning see: P-tuning Liu et al [2021c], prefix tuning Li and Liang [2021] and WARP Hambardzumyan et al [2021]. P-tuning Liu et al [2021c]、プレフィックスチューニング Li and Liang [2021]、WARP Hambardzumyan et al [2021]。
訳抜け防止モード: 即興学習のさらなる詳細と起源について : p - tuning liu et al [2021c] プレフィックスチューニング li and liang [2021 ] and warp hambardzumyan et al [2021 ]。
0.78
3.3 Pre-trained Language Model 3.3 事前学習型言語モデル 0.57
As we wanted to compare the performance of prompt learning and traditional fine-tuning in a best case scenario, we chose the Bio-ClininalBERT Alsentzer et al [2019]. ベストケースのシナリオでは、プロンプト学習と従来の微調整のパフォーマンスを比較するために、bio-clininalbert alsentzer et al [2019]を選択しました。 0.61
Bio-ClinicalBERT was essentially pre-trained on all MIMIC-III notes and a large collection of PubMed abstracts and full articles by being initialized from weights produced by another biomedical BERT model, BioBERT Lee et al [2019]. Bio-ClinicalBERTは、基本的に全てのMIMIC-IIIノートとPubMedの抽象資料と全記事のコレクションで事前訓練され、別のバイオメディカルBERTモデルであるBioBERT Lee et al [2019] によって生産された重量から初期化されている。
訳抜け防止モード: Bio - ClinicalBERTは基本的にすべてのMIMICで事前訓練された PubMedの抽象資料と全文をまとめて 他のバイオメディカルBERTモデルであるBioBERT Leeらによって生産された重量から初期化されています。
0.72
Whilst we appreciate this may be an overly optimized model for the dataset used in this paper, we argue the point of the experiments presented here is to compare and contrast the ability of the different modelling frameworks to leverage what has been learned by a PLM for clinical tasks. 本論文では、データセットに対して過度に最適化されたモデルであることに感謝するが、この実験のポイントは、異なるモデリングフレームワークが臨床タスクのためにPLMで学んだことを活用できることを比較し、比較することである。 0.77
As has already been shown extensively, PLMs benefit from domain specific pre-training Gururangan et al [2020], what is lesser known is whether current pre-prompt learning approaches are fully utilising these language models. すでに広く示されているように、plmはドメイン固有の事前学習であるgururangan et al [2020]の恩恵を受けているが、あまり知られていないのは、現在の事前学習アプローチがこれらの言語モデルを完全に活用しているかどうかである。
訳抜け防止モード: すでに広く示されているように、PLMはドメイン固有の事前訓練の恩恵を受けています。 あまり知られていないのは 現在のプレ-即時学習アプローチは、これらの言語モデルを完全に活用しています。
0.55
3.4 Clinical Dataset We use the Medical Information Mart for Intensive Care III (MIMIC-III) [Johnson et al , 2016], an open source medical dataset developed by the MIT Lab for Computational Physiology. 3.4 臨床データ 我々は,mit計算生理学研究所が開発したオープンソースの医療データセットである intensive care iii (mimic-iii) [johnson et al , 2016] のために,medical information mart を使用している。
訳抜け防止モード: 3.4 臨床データ 医療情報マートを用いた集中治療III(MIMIC-III) [Johnson et al, これはMIT Lab for Computational Physiologyによって開発されたオープンソースの医療データセットです。
0.77
It comprises of de-identified health data associated with 38,597 critical care patients and 58,976 intensive care unit (ICU) admissions at the Beth Israel Deaconess Medical Center between 2001 and 2012. 2001年から2012年にかけて、38,597人のクリティカルケア患者と58,976人の集中治療ユニット(icu)がbeth israel deaconess medical centerで入院した。 0.68
Data includes demographics, vital signs, laboratory tests, medications, caregiver notes, imaging reports, and mortality in and out of hospital. データは、人口統計、バイタルサイン、検査、薬、介護記録、画像報告、病院内外における死亡率などである。 0.62
The number of possible tasks with this dataset is quite large and varied, but we focus on classification tasks which utilise free text notes alone. このデータセットで可能なタスクの数は極めて多く、多様であるが、フリーテキストノートのみを利用する分類タスクに重点を置いている。 0.71
Moreover, to allow comparisons with other baselines we derive clinical task datasets used in previous research van Aken et al [2021], Pellegrini et al [2022], Wang et al [2020], Boag et al [2018] as well as deriving our own triage task, described below. さらに,他のベースラインと比較するために,ファン・エイケンら(2021年),ペレグリニら(2022年),ワングら(2020年),ボアグら(2018年)に用いられた臨床タスクデータセットを導出するとともに,以下に示すようなトリアージタスクを導出する。
訳抜け防止モード: さらに、他のベースラインとの比較を可能にするために、以前の研究であるvan aken et al[2021]で使用される臨床タスクデータセットを導出する。 pellegrini et al [2022 ], wang et al [2020 ] boag et al [2018] も 下記のトリアージタスクを導出します。
0.76
An important note is that whilst some of the derived clinical tasks may benefit from utilising the multi-modal data available for each patient, we focus purely on the free text clinical notes. 重要な点として、患者ごとに利用可能なマルチモーダルデータを活用することで、導出された臨床タスクのいくつかが有用であるのに対し、我々は、無料のテキスト臨床ノートにのみ焦点をあてる。 0.60
Full details and code for reproducing these datasets and experiments is provided by authors. これらのデータセットと実験を再現するための詳細とコードは、著者によって提供されている。 0.54
2 4 Experiments - Clinical tasks 2 4 実験-臨床課題 0.60
ICD-9 50 Within the MIMIC-III data and other EHRs are standardised International Classification of Diseases version 9 (ICD-9) codes, which are used to record diagnosis and procedures. ICD-9 50 MIMIC-IIIデータやその他のEHRはICD-9(International Classification of Diseases Version 9)コードとして標準化されている。 0.77
A common task is to classify the ICD-9 diagnosis code based on a patients data and automate the whole process, and one can do so from the free text notes alone. 一般的な課題は、患者データに基づいてICD-9診断コードを分類し、プロセス全体を自動化することであり、フリーのテキストノートだけで行うことができる。 0.80
There are approximately 2,000 diagnosis codes present in the MIMIC-III dataset, with a very skewed distribution, and a resulting extreme multi-class problem which is beyond the scope of this paper. MIMIC-IIIデータセットには約2000の診断符号が存在し、非常に歪んだ分布を持ち、その結果、この論文の範囲を超える極端なマルチクラス問題が発生する。 0.80
Thus for our classification task we opt to subset top 50 most frequent ICD-9 diagnosis codes that have a corresponding set of clinical notes, as has been done before Yuan et al [2022], Wang et al [2020], van Aken et al [2021]. そこで我々は,Yuan et al [2022],Wang et al [2020],van Aken et al [2021] に先立って行われたように,対応する臨床書のセットを有するICD-9の診断符号を最多の50個に分類する。 0.79
2complementary code to reproduce experiments is provided at: https://github.com/N taylorOX/ 実験を再現するための2つの補完コードは以下の通りである。 0.52
Public_Clinical_Prom pt Public_Clinical_Prom pt 0.20
6 6 0.43
英語(論文から抽出)日本語訳スコア
ICD-9 Triage task A potential concern with the ICD-9 diagnosis code classification is that the codes themselves may be mentioned explicitly in the notes van Aken et al [2021]3, and further, simply classifying patients’ ICU discharge notes by ICD-9 code lacks ecological validity as a clinical decision support task. ICD-9 トリアージタスク ICD-9 診断コード分類の潜在的な懸念は、コード自体がファン・エイケンら[2021]3 に明示的に言及されていること、さらに、ICD-9 コードによるICU 排出ノートを単純に分類することは、臨床決定支援タスクとしての生態的妥当性を欠いていることである。 0.73
For example, within a hospital setting, patients admitted to an ICU will be treated and then “stepped down” (discharged) to another ward or team to progress their treatment when they no longer require ICU. 例えば、病院内では、ICUに入院した患者は治療を受け、その後別の病棟やチームに「退院」され、ICUを必要としないときに治療を進める。 0.71
With assistance from clinicians, we therefore designed a novel task that aims to make the classification task more similar to the decision making process of arranging patient flow on discharge from the ICU. そこで我々は臨床医の支援を得て, icuからの退院時の患者フローを整理する意思決定プロセスと, 分類作業をよりよくすることを目的とした新しいタスクを考案した。 0.71
For example, a patient being discharged from the ICU after a cardiac event will likely be “stepped down” to a cardiology team. 例えば、心臓イベントの後、icuから退院した患者は、心臓病チームへ“ステップダウン”される可能性が高い。 0.73
Similarly, a patient admitted to ICU with obstetric complications will likely be stepped-down to a maternity ward. 同様に、産科合併症でicuに入院した患者は、産科に退院する可能性が高い。 0.64
In essence we grouped together the ICD-9 diagnosis codes into “teams” that reflect the triage or patient-flow decision making found in hospital settings. 本質的には,ICD-9の診断コードを「チーム」にまとめて,病院環境におけるトリアージや患者フローの決定を反映した。 0.73
For this task we selected the top 20 most frequent ICD-9 diagnosis codes in MIMIC-III and a clinician derived triage groups based on which team would likely continue the patient’s care on being stepped down from ICU. そこで我々は,MIMIC-IIIで最も頻度の高いICD-9診断コードトップ20と,ICUから退院する患者のケアを継続するクリニカルトリアージグループを選択した。 0.68
The training classes are therefore many-to-one mappings of ICD9 codes to discharge teams and we derived the following seven post-ICU discharge destination teams: Cardiology, Obstetrics, Respiratory Medicine, Neurology, Gastroenterology, Acute or Internal Medicine, and Oncology. そこで,icuの退院後,循環器科,産科,呼吸器科,神経科,胃腸科,急性内科,内科,腫瘍学の7つのチームからicd9コードの多対一マッピングを行った。 0.66
The resultant dataset consists of 15,000 clinical notes across the 7 triage categories. 得られたデータセットは、7つのトリアージカテゴリにわたる15,000の臨床ノートで構成されている。 0.52
In hospital mortality One of the most frequently used benchmark clinical support tasks with the MIMIC-III dataset is the prediction of whether a patient will survive their hospital episode. 病院死亡におけるMIMIC-IIIデータセットの最も頻繁に使用されるベンチマークの1つは、患者が病院のエピソードを生き残るかどうかを予測することである。 0.65
Within the MIMIC-III database are structured data relating to the mortality status of a patient, which paired with a date and timestamp allows for easy labelling of the data. MIMIC-IIIデータベースには、患者の死亡状況に関する構造化データがあり、日付とタイムスタンプと組み合わせることで、データのラベル付けが容易になる。 0.78
Only notes prior to the mortality flag are considered, and some simple regular expression rules were used to filter any notes that had explicit mentions of a patients death, similar to that of previous work Boag et al [2018], van Aken et al [2021]. 死亡フラグの前のメモのみが考慮され、以前のboag et al [2018]、van aken et al [2021]のような、患者の死亡を明示的に言及したメモをフィルタリングするために、いくつかの単純な正規表現規則が使用された。 0.73
Length of stay in ICU Predicting how long a patient will require ICU is of significant value to hospitals who aim to optimise the flow of patients in resource-limited settings (that is, there are usually very few ICU beds compared to the hospital’s overall bed capacity). ICUに滞在する時間の長さ 患者がICUを必要とする期間を予測することは、リソース制限された設定で患者のフローを最適化しようとする病院にとって重要な価値である(つまり、病院全体のベッド容量と比較して、ICUベッドはごくわずかである)。 0.75
We model this as a three way classification task, binning length of stay in the following categories: Under 3 days, 3 to 7 days, 1 week to 2 weeks, more than 2 weeks van Aken et al [2021]. 3日間,3~7日間,1週間~2週間,2週間以上のvan Aken et al [2021]。
訳抜け防止モード: 私たちはこれを3つの分類タスクとしてモデル化し、以下のカテゴリに滞在期間を2つにまとめる。 3日から7日,1週間から2週間,2週間以上のvan Aken氏ら(2021年)。
0.75
Full and few-shot training We will be comparing the performance of models in full and few-shot training setups. フルショットのトレーニング 私たちは、フルショットのトレーニング設定でモデルのパフォーマンスを比較するつもりです。 0.64
Validation and test set performance is always carried out on the full validation and test sets to enable direct comparisons in performance. 検証とテストセットのパフォーマンスは、常に完全な検証とテストセットで行われ、パフォーマンスの直接比較を可能にする。 0.76
An important note for our few-shot experiments is that sample size will refer to the number of samples per class, i.e. N = s × c where N is the total training samples, s is the sample size per class and c is the number of unique classes. 少数の実験で重要なことは、サンプルサイズはクラス毎のサンプル数、すなわち N = s × c であり、N はトレーニング全体のサンプル数、s はクラス毎のサンプルサイズ、c はユニークなクラス数である。 0.71
Note in some instances not all classes can fill the sample size, so for some few-shot experiments there will remain a class imbalance. いくつかの例では、すべてのクラスがサンプルサイズを満たせるわけではないので、少数の実験ではクラスの不均衡が残るだろう。 0.65
All results presented are on held-out test sets for each task. 提示されるすべての結果は、各タスクの保留テストセットにある。 0.67
5 Results 5.1 Different prompt learning setups 結果5 5.1 異なるプロンプト学習設定 0.78
The number of possible combinations of templates and verbalizers in the prompt learning framework is vast, and as such we have opted to utilise previous research to derive the most suitable for our use case. 素早い学習フレームワークにおけるテンプレートと動詞の組合せの数は膨大であり、我々は過去の研究を利用してユースケースに最も適したものを導出することにした。 0.74
To this end we conducted an initial experiment comparing the performance of four prompt learning combinations on one clinical task to establish the best performing combination. この目的を達成するために,1つの臨床課題における4つのプロンプト・ラーニング・コンビネーションのパフォーマンス比較を行い,最善のコンビネーションを確立する実験を行った。 0.67
We chose the ICD-9 Triage task as the baseline due to it being a relatively straight forward multi-class classification problem and with a reasonably balanced distribution of classes when compared to the other tasks. ICD-9 トリアージタスクをベースラインとして選択したのは,比較的直線的な前方多重クラス分類問題であり,他のタスクと比較した場合のクラス分布が合理的に均衡しているためである。 0.70
The prompt learning setup comprised six combinations of a manual, mixed or soft template with a manual or soft verbaliser. 即興学習装置は、マニュアル、ミックス、ソフトのテンプレートの6つの組み合わせと、マニュアルまたはソフトの動詞を組み合わせて構成された。 0.58
The results are summarised in Table1 The performance across the different prompt combinations is very similar in the setting where the PLM is fine-tuned, however there is greater variance when the PLM is frozen. 結果は表1で要約される 異なるプロンプトの組み合わせによる性能は、PLMが微調整された環境では非常によく似ているが、PLMが凍結されたときのばらつきは大きい。 0.65
The frozen PLM setting 3it was shown samples where diagnosis was not mentioned explicitly only had a slight drop in performance 冷凍PLM設定 3it, 診断対象外であった試料は, わずかに低下したのみであった。
訳抜け防止モード: 冷凍PLM設定 3itはサンプルで 診断は明確には言及されなかった パフォーマンスが少し低下しました
0.52
7 7 0.42
英語(論文から抽出)日本語訳スコア
Table 1: Table comparing different prompt learning setups on ICD9 Triage task. 表1: ICD9 トリアージタスクにおける異なるプロンプト学習設定の比較表。 0.82
PLM Fine-tuned PLMファインチューニング 0.67
Frozen Prompt combination Balanced accuracy 0.8765 0.8818 0.8817 0.8824 0.8860 0.8954 0.7524 0.8474 0.8724 0.8591 0.8900 凍る Prompt combination Balanced accuracy 0.8765 0.8818 0.8817 0.8824 0.8860 0.8954 0.7524 0.8474 0.8591 0.8900 0.42
(manual, manual) (manual, soft) (mixed, manual) (mixed, soft) (soft, manual) (soft, soft) (manual, soft) (mixed, manual) (mixed, soft) (soft, manual) (soft, soft) (手動、マニュアル) (手動、ソフト) (手動、ソフト) (ソフト、ソフト) (ソフト、ソフト) (手動、ソフト) (手動、マニュアル) (混合、ソフト) (ソフト、マニュアル) (ソフト、ソフト) (ソフト、ソフト)
訳抜け防止モード: (マニュアル、マニュアル)(マニュアル、ソフト)(混合、混合) マニュアル) (混合,ソフト) (ソフト,マニュアル) (ソフト,ソフト) ソフト) (マニュアル、ソフト) (混合、マニュアル) (混合、混合) ソフト) (ソフト、マニュアル) (ソフト、ソフト)
0.61
is of most interest, and whilst the soft template and soft verbalizer combination performs the best overall, we opt to use the more interpretable combination of mixed template and soft verbalizer as our prompt learning benchmark going forward. もっとも興味があるのは、ソフトテンプレートとソフト言語化器の組み合わせが全体として最高のパフォーマンスを示す一方で、より解釈しやすい混合テンプレートとソフト言語化器の組み合わせを、プロンプトラーニングベンチマークとして採用することです。
訳抜け防止モード: 最も興味があるのは ソフトテンプレートとソフトボーダライザーの組み合わせは 全体的に最高です より解釈可能な混合テンプレートとソフトな動詞の組合せを 早急に学習するベンチマークとして使うことにしました
0.71
The mixed template is a mixture of manual prompting and prefix tuning, whereby both discrete tokens known to the PLM and newly introduced, trainable continuous vectors of the same dimension as the PLM token embeddings are combined. 混合テンプレートは手動のプロンプトとプレフィックスのチューニングの混合であり、PLMに知られた離散トークンと、新たに導入されたPLMトークンの埋め込みと同じ次元のトレーニング可能な連続ベクトルを組み合わせる。 0.75
5.2 Prompt learning versus traditional fine-tuning 5.2 プロンプト学習と従来の微調整 0.61
Next is a comparison across the different clinical tasks outlined in the methods section between prompt learning and traditional fine-tuning. 次に,従来のファインタニングとプロンプトラーニングの手法セクションで概説した異なる臨床課題を比較した。 0.78
Each framework utilises the exact same PLM and we present evaluation results for both fine-tuning and freezing the entire PLM. 各フレームワークは、全く同じPLMを利用し、PLM全体を微調整および凍結する評価結果を示す。
訳抜け防止モード: 各フレームワークは、全く同じPLMを利用する PLM全体のチューニングと凍結を両立させる評価結果を示す。
0.78
In the case of the frozen PLM, only the parameters introduced by traditional fine-tuning or prompt learning are updated during training. 凍結PLMの場合、従来の微調整や即時学習で導入されたパラメータのみをトレーニング中に更新する。 0.67
We found that prompt learning can match or improve on traditional fine-tuning, with a much smaller gap in performance between the frozen and fine-tuned PLM setting across few-shot and full training setups, see Fig 4. 凍結されたPLM設定と微調整されたPLM設定の間のパフォーマンスのギャップは、数ショットとフルトレーニング設定ではるかに小さく、従来の微調整に即習学習が適合または改善できることがわかった。 0.58
5.3 Hyperparameter search 5.3 ハイパーパラメータ探索 0.61
There are considerable variations in any neural networks performance with changes to hyperparameters, in particular learning rates and hidden layer dimensions. ハイパーパラメータの変更、特に学習率と隠された層次元など、ニューラルネットワークのパフォーマンスにはかなりのバリエーションがある。 0.68
With comparing the performance of two neural network frameworks as we have, one must be careful to ensure the hyperparameters are optimized for each. 2つのニューラルネットワークフレームワークのパフォーマンスを比較することで、ハイパーパラメータをそれぞれに最適化するように注意する必要があります。 0.78
Our initial experiments used sensible hyperparameters based on previous research using traditional fine-tuning and prompt learning, where prompt learning and traditional fine-tuning achieved similar performance when the PLM was fine-tuned, see Fig 4. 私たちの最初の実験では、従来の微調整とプロンプト学習に基づいてセンシブルハイパーパラメータを使用し、plmが微調整されたとき、プロンプト学習と従来の微調整が同様のパフォーマンスを達成しました。 0.56
However, when freezing the PLMs, performance differences arose between the two frameworks, especially for few-shot settings in favor of prompt learning. しかし、PLMを凍結させると、2つのフレームワーク、特に素早い学習に有利な数ショット設定のパフォーマンスの違いが生じた。 0.65
We chose the ICD-9 Triage task as the optimal showcase task for further exploration due to its relatively stable performance. 我々は,ICD-9トリアージタスクを,比較的安定した性能のため,さらなる探索のための最適なショーケースタスクとして選択した。 0.60
Moreover, with limited computational resources, it was impractical to run hyperparameter searches for all tasks and frameworks. さらに、計算資源が限られているため、すべてのタスクやフレームワークに対してハイパーパラメータ検索を実行することは不可能であった。
訳抜け防止モード: さらに 計算資源が限られていて すべてのタスクやフレームワークのハイパーパラメータ検索を実行する。
0.67
The hyperparameter search space is provided below in Table 2, with results of the subsequent optimized training runs for the ICD-9 Triage task presented in Table 3. 表3に示すICD-9トリアージタスクに対するその後の最適化トレーニングの実行結果とともに、表2にハイパーパラメータ検索空間が記載されている。 0.79
Further details of the hyperparameter search and results are presented in supplementary materials, see Appendix A. ハイパーパラメーターの検索と結果の詳細は補助的な資料で示される(Appendix Aを参照)。 0.63
5.4 Sensitivity analyses Results suggested that on certain tasks prompt learning outperformed the traditional fine-tuning model when using a frozen PLM Fig 5.4 感度解析 その結果, 凍結PLMフィグを用いた場合, 学習の促進が従来の微調整モデルより優れていたことが示唆された。 0.63
4. We will focus on the triage task again, for which we optimized each of the frameworks. 4. 私たちは再びトリアージタスクに集中し、それぞれのフレームワークを最適化します。 0.70
There is a risk that the performance drop for the traditional fine-tuning classification head is due to over or under fitting with its larger number of trainable parameters in the original setting. 従来の微調整ヘッドの性能低下は、元の設定でのトレーニング可能なパラメータの多さによるか、あるいは過小評価されている可能性がある。 0.60
We manipulated the number of trainable parameters in each framework and compared the effects on performance, for results see Fig 各フレームワークのトレーニング可能なパラメータの数を操作し、パフォーマンスへの影響を比較しました。
訳抜け防止モード: 各フレームワークでトレーニング可能なパラメータの数を操作し、パフォーマンスへの影響を比較した。 結果、Fig
0.76
5. Adjusting the number of trainable parameters for traditional fine-tuning involves adjusting the number of layers and hidden dimension size of the classification head, whilst adjusting number of trainable parameters for prompt learning requires 5. 伝統的な微調整のための訓練可能なパラメータの数を調整するには、学習のための訓練可能なパラメータの数を調整しながら、分類ヘッドのレイヤー数と隠れ寸法サイズを調整することが必要となる。
訳抜け防止モード: 5. 従来の罰金の訓練可能なパラメータの数を調整すること -分類ヘッドの層数と隠蔽寸法を調整すること。 迅速な学習に必要な訓練可能なパラメータの数を調整しながら
0.81
8 8 0.42
英語(論文から抽出)日本語訳スコア
Figure 4: Balanced accuracy for prompt learning and traditional fine-tuning frameworks across the four clinical tasks. 図4: プロンプト学習と従来の微調整フレームワークのバランスの取れた正確さ。 0.63
“LoS” refers to length of stay and “Full” refers to a full data set size which varies from task to task. los" は停止時間の長さを指し、"full" はタスクごとに異なる完全なデータセットサイズを指す。 0.67
Table 2: Hyperparameter search space used for optmization 表2:最適化に用いるハイパーパラメータ検索空間 0.83
Parameter classifier learning rate batch size gradient accumulation steps dropout optimizer prompt learning rate verbalizer learning rate パラメータ分類器学習率 バッチサイズ 勾配増加ステップ ドロップアウト最適化器 学習率 動詞学習率 0.78
Search space log.uniform[1 × 10−5, 3 × 10−1] [4] range[2, 10] range[0.1, 0.5] categorical[adamw, adafactor] log.uniform[1 × 10−5, 3 × 10−1] log.uniform[1 × 10−5, 1 × 10−1] 検索空間 log.uniform[1 × 10−5, 3 × 10−1][4] range[2, 10] range[0.1, 0.5] カテゴリー log.uniform[1 × 10−5, 3 × 10−1] log.uniform[1 × 10−5, 1 × 10−1] 0.89
Table 3: Hyperparameter optimized model comparison with frozen PLM for ICD9 triage. 表3: ハイパーパラメータ最適化モデルとCD9トリアージ用冷凍PLMの比較。 0.77
Paradigm Traditional fine-tuning Prompt learning パラダイム伝統的微調整プロンプト学習 0.71
Balanced accuracy F1 weighted 0.8919 0.9246 バランス精度F1重み0.8919 0.9246 0.63
0.8162 0.8698 0.8162 0.8698 0.25
AUC 0.9811 0.9889 AUC 0.9811 0.9889 0.29
just changing the number of soft template tokens and whether to include a soft verbalizer (manual templates and verbalizers have no trainable parameters). ソフトテンプレートトークンの数を変えて、ソフトな冗長化子を含めるかどうか(手動テンプレートと動詞化子にはトレーニング可能なパラメータがない)。
訳抜け防止モード: ソフトテンプレートトークンの数と ソフトな動詞化子(手動テンプレートと動詞化子にはトレーニング可能なパラメータがない)を含める。
0.74
Training used 128 samples per class as this approached peak performance without requiring a full training run. トレーニングはクラス毎に128サンプルを使用し、完全なトレーニング実行を必要とせずにピーク性能に接近した。 0.63
Note that prompt learning with the fewest trainable parameters (N params = 1,536) achieves comparable performance to the traditional fine-tuning model with 1000 times the number of trainable parameters (N params = 1,552,007). 最も少ない訓練可能なパラメータ(n params = 1,536)によるプロンプト学習は、訓練可能なパラメータ数(n params = 1,552,007)の1000倍の従来の微調整モデルと同等の性能を達成している。 0.69
The variability in prompt learning performance based on the template and verbalizer has been well established Liu et al [2021a], Li and Liang [2021], Ding et al [2021]. テンプレートと発声器に基づく即時学習性能の変動は,Lu et al [2021a],Li and Liang [2021],Ding et al [2021]とよく確立されている。 0.81
We opted to focus on the use 私たちはその使用に焦点をあてた 0.73
9   9   0.43
! 30 9:30/  ! 30 9:30/  0.37
!7403 !7403 0.42
   %7,0    %7,0 0.44
  4$:   4$: 0.45
  :479,9$,25080,,3.0/,.   :479,9$,25080,,3.0/,. 0.47
.:7,. ! ,7,/2! .:7,. ! ,7,/2! 0.71
742590,733%7,/943,130 9:33 742590,733%7,/943,130 9:33 0.20
英語(論文から抽出)日本語訳スコア
Figure 5: Balanced accuracy for prompt learning versus traditional fine-tuning across increasing number of trainable parameters with frozen PLM. 図5: 凍結したPLMでトレーニング可能なパラメータの数が増えるにつれて、学習の迅速化と従来の微調整のバランスの取れた精度。 0.56
For readability, logarithmic scale is used for x-axis. 可読性では、対数スケールがx軸に使用される。 0.63
of a mixed template format which is based around designing a common sense manual template for the task alongside soft and trainable tokens or embeddings. ソフトでトレーニング可能なトークンや埋め込みと並行して、タスクのための常識的な手動テンプレートを設計することに基づく混合テンプレートフォーマットのことです。 0.68
Moreover these soft tokens can be initialised from a known token of the PLM’s vocabulary. さらに、これらのソフトトークンは、PLMの語彙の既知のトークンから初期化することができる。 0.61
To determine whether mixed templates benefit from a common sense or domain specific manual template, we compared performance of different templates including one with a mix of unrelated and random tokens. 混在テンプレートが共通の感覚やドメイン固有の手動テンプレートから恩恵を受けるかどうかを判断するために,無関係トークンとランダムトークンの混在テンプレートを含むテンプレートのパフォーマンスを比較した。 0.64
Results are shown in Table 4 and we can see that having just one soft token or a set of random and unrelated manual tokens leads to a drop in performance. 結果は表4に示されており、ソフトトークンまたはランダムで無関係な手動トークンのセットだけでパフォーマンスが低下することを示している。
訳抜け防止モード: 結果は表4に示されます ご覧の通り 1つの柔らかいトークンか、ランダムで無関係な手動トークンのセットを持っている パフォーマンスの低下につながります
0.77
The <[soft]> token represents the trainable continuous vector or embedding of the mixed template that has been initialised from the PLMs vocabulary. <[soft]>トークンは、PLMの語彙から初期化された混合テンプレートのトレーニング可能な連続ベクトルまたは埋め込みを表す。 0.77
Thus <[soft]>:"This" indicates a soft embedding initialised from the PLMs representation of the token "This". したがって <[soft]>: "This" はトークン "This" の PLM 表現から初期化されたソフトな埋め込みを表す。 0.76
Table 4: Performance of the classification model on a test set for different mixed templates for the ICD9 triage task. 表4: icd9トリアージタスクのための異なる混合テンプレートのテストセットにおける分類モデルの性能。 0.81
"This" patient <[soft]>:"should go to" 「この」患者 <[ソフト]>:「行きましょう」 0.43
Prompt text <[soft]>: "This" <[MASK]> <[soft]>: <[MASK]>. プロンプトテキスト <[soft]>: "this" <[mask]> <[soft]>: <[mask]>。 0.43
<[soft]>: <[MASK]>. <[soft]>: <[mask]> である。 0.58
<[soft]>: "This" patient should <[soft]>:"go to this medical team based on symptoms of their illness" <[MASK]>. <[soft]>: "this"患者は<[soft]>:"病気の症状に基づいてこの医療チームに行くべきです" <[mask]>。 0.60
random words here <[soft]>:"random" <[MASK]>. ここでランダムな単語は <[soft]>: "random" <[mask]> である。 0.74
"This" patient should <[soft]>:"go to" "この"患者は<[soft]>:"go to"をすべきです 0.74
Balanced accuracy 0.8195 0.8539 バランス精度 0.8195 0.8539 0.60
0.8491 0.8624 0.8491 0.8624 0.29
0.8346 6 Discussion 0.8346 6 討論 0.31
The experiments presented here have attempted to directly compare the prompt learning paradigm with the traditional fine-tuning paradigm across a number of clinical tasks that frame classification as a clinical decision support task. 本研究は, 臨床意思決定支援タスクとして分類する多くの臨床課題に対して, 素早い学習パラダイムと従来の微調整パラダイムを直接比較する試みである。 0.73
The objective was to ascertain whether the literature describing promising performance for prompt learning in general domain text datasets can be leveraged on a more niche biomedical domain. その目的は、一般的なドメインテキストデータセットにおいて、プロンプト学習の有望なパフォーマンスを記述する文献が、よりニッチな生物医学領域で活用できるかどうかを確かめることであった。 0.60
We present four clinical decision tasks of varying complexity, in both full training and few-shot setups. 完全なトレーニングと少数ショットのセットアップの両方において,複雑性の異なる4つの臨床決定課題を提示する。 0.61
In the full training scenario, prompt learning can typically match the performance of traditional fine-tuning, and prompt learning outperforms traditional fine-tuning in the few-shot setting. フルトレーニングシナリオでは、プロンプト学習は、通常、伝統的な微調整のパフォーマンスと一致し、数ショットの環境では、従来の微調整よりも高速に学習することができる。 0.56
Of particular interest was the performance of each model with frozen the PLM, where only parameters added to the PLM after pre-training are tuned for downstream classification 特に興味深いのは、plmを凍結した各モデルのパフォーマンスで、事前トレーニング後のplmに追加されたパラメータのみが下流の分類に調整される。 0.60
10    10    0.42
:2-07415,7,209078 :2-07415,7,209078 0.13
      0.43
,,3.0/,. ,,3.0/,. 0.32
.:7,. ! ,7,/2! .:7,. ! ,7,/2! 0.71
742590,733%7,/943,130 9:33! 742590,733%7,/943,130 9:33! 0.21
7403 7403 0.39
英語(論文から抽出)日本語訳スコア
tasks. This is where prompt learning appears to prove superior, out-performing traditional fine-tuning with considerably fewer trainable parameters, see Figure .5. タスク。 ここでは、素早い学習が、訓練可能なパラメータがかなり少ない従来の微調整よりも優れていたことを証明している。 0.53
Moreover, the use of a mixed template appears to allow the intuitive common sense approach to domain derived prompts, whilst maintaining a trainable soft embedding that can reduce the difficulty in finding optimal manual prompts. さらに、混合テンプレートを使用することで、ドメイン由来のプロンプトに対する直感的な常識的アプローチを可能にすると同時に、最適な手動プロンプトを見つけることの難しさを低減できるトレーニング可能なソフト埋め込みを維持することができる。 0.61
We argue that mixed templates achieve similar performance to entirely soft templates, whilst retaining a level of transparency and interpretability. 混合テンプレートは、透明性と解釈可能性のレベルを維持しながら、完全にソフトなテンプレートと同等のパフォーマンスを達成していると主張する。 0.57
Understanding how models arrive at a decision is especially important in high-stake applications, such as medicine Taylor et al [2021], Rajpurkar et al [2022]. モデルがどのように決定を下すかを理解することは、医学のtaylor et al [2021]、rajpurkar et al [2022]のような高リスクな応用において特に重要である。 0.69
Future work should focus on the utility of interpretable prompts for helping clinicians understand a model’s decision making. 将来の研究は、臨床医がモデルの意思決定を理解するのに役立つ、解釈可能なプロンプトの有用性に焦点を当てるべきである。 0.53
6.1 Limitations Pre-training data leakage A notable limitation was the choice of PLM, which is arguably too well suited to the clinical tasks presented, with probable data leakage from initial pre-training and the subsequent downstream tasks. 6.1 制限 事前トレーニングデータ漏洩 顕著な制限は、PLMの選択であり、最初の事前トレーニングとその後の下流タスクからの可能性のあるデータ漏洩を含む、提示された臨床的タスクに適していない。 0.64
Although it must be stated that this would have benefited both paradigms, but there is the possibility that the reformulation of the downstream tasks as a masked language modelling style objective may allow easier "remembering" for prompt learning when compared to traditional fine-tuning. いずれのパラダイムにも便益があるとは言い難いが、従来の微調整と比較して、下流タスクをマスク言語モデリングスタイルの目的として再編成することで、迅速な学習がより容易になる可能性がある。 0.65
However, we include results for the ICD-9 Triage task using biomedical BERT (trained only on biomedical literature) and this yielded a similar pattern of results, see Appendix D. しかし, バイオメディカルBERT(バイオメディカル文献のみ)を用いたICD-9トリアージ作業の結果は, 同様の結果が得られた(Appendix D)。 0.73
Task performance variance We presented four clinical tasks derived from MIMIC-III notes data, and whilst we achieved results in line with previous research, the relative performance on the length of stay and mortality prediction tasks were quite poor regardless of the framework. タスクパフォーマンスのばらつきについては,mime-iiiノートデータから得られた4つの臨床課題を提示し,これまでの研究と一致した結果を得たが,生存期間と死亡予測タスクの相対的パフォーマンスは,フレームワークに関係なく極めて低かった。 0.72
This limits the interpretability of framework differences in performance, and whether one is more suitable to some tasks than others. これにより、フレームワークのパフォーマンスの違いの解釈可能性や、あるタスクに他のタスクよりも適しているかどうかが制限される。
訳抜け防止モード: これはパフォーマンスにおけるフレームワークの違いの解釈可能性を制限する。 一つは他の仕事より適しています
0.65
Similarly we did find that using hyperparameter search for the ICD-9 Triage task improved the frozen PLM performance of the traditional fine-tuning approach by a reasonable margin and a more extensive hyperparameter search may shift this further. 同様に、ICD-9トリアージタスクのハイパーパラメータサーチを用いることで、従来の微調整手法の凍結PLM性能を合理的なマージンで改善し、より広範なハイパーパラメータサーチによりさらに変化させる可能性があることがわかった。
訳抜け防止モード: 同様に私たちは ICD-9 トリアージタスクのハイパーパラメータサーチを用いて 従来のファインチューニング手法の凍結PLM性能を合理的マージンで改善する より広範囲のハイパーパラメーターサーチが これを変えるかもしれません
0.75
However, this was also true for the prompt learning approach, but these models appeared far more robust to changes in hyperparameters. しかし、これは迅速な学習アプローチにも当てはまりますが、ハイパーパラメータの変化に対して、これらのモデルははるかに堅牢に見えました。
訳抜け防止モード: しかし、これは素早い学習手法にも当てはまる。 しかしこれらのモデルはハイパーパラメータの変化に対して はるかに頑丈に見えました
0.67
Future work would benefit from exploring this more extensively, given adequate computing resource. 将来の作業は、適切なコンピューティングリソースを考慮すれば、これをより広範囲に探求することで恩恵を受けるでしょう。 0.48
6.2 Conclusion The key finding was that prompt learning outperforms the traditional fine-tuning approach when PLMs are frozen during training on the downstream task. 6.2 結論 鍵となる発見は、下流タスクのトレーニング中にPLMが凍結されると、学習が従来の微調整アプローチより優れていることである。 0.58
Most striking is the relatively few trainable parameters required for prompt learning to converge and match or even outperform traditional finetuning. 最も印象的なのは、プロンプト・ラーニングが収束し、従来の微調整を上回らせるために必要となる、比較的少ないトレーニング可能なパラメータである。 0.46
This is in line with previous prompt learning research and may offer a useful framework for building clinical support tools in low compute resource settings, as well as enabling a faster, flexible, modular training pipeline for new downstream tasks and novel data. これは以前の迅速な学習研究と一致しており、低計算リソース設定で臨床サポートツールを構築するための有用なフレームワークを提供するとともに、新しい下流タスクと新しいデータのためのより高速で柔軟なモジュラートレーニングパイプラインを可能にする。 0.76
The ability to utilise a single, frozen PLM and share or reuse these embeddings across a number of task specific modules, each with their own trainable prompt is very desirable for specialised domains. 単一のフリーズされたplmを使用して、これらの埋め込みを複数のタスク固有のモジュールで共有または再利用する能力は、それぞれが独自のトレーニング可能なプロンプトを持つため、専門化されたドメインにとって非常に望ましい。
訳抜け防止モード: 1つの凍結したPLMと共有を利用する能力 様々なタスク固有のモジュールに 埋め込むことができます それぞれが訓練可能なプロンプトを持つのは、専門ドメインにとって非常に望ましいことです。
0.67
Whilst using smaller PLMs and prompts may not achieve the state-of-the-art performance on certain tasks, it can approach similar levels of performance with a fraction of the model size and training time. より小さなPLMとプロンプトは、特定のタスクで最先端のパフォーマンスを達成できないかもしれないが、モデルサイズとトレーニング時間の一部で、同様のレベルのパフォーマンスにアプローチすることができる。 0.60
In the field of clinical support tools, a computationally efficient and interpretable model with good enough performance that can run on a CPU is arguably more desirable than a trillion parameter model that requires high-performance computing clusters with arrays of GPUs. 臨床支援ツールの分野では、CPU上で実行できる十分な性能を持つ計算効率が高く解釈可能なモデルは、GPUの配列を持つ高性能コンピューティングクラスタを必要とする1兆のパラメータモデルよりも、間違いなく望ましい。 0.84
The prompt learning framework is an evolving paradigm with variants being introduced regularly, thus we cannot claim to have fully covered prompt learning in this work. 素早い学習フレームワークは進化するパラダイムであり、変種が定期的に導入されているため、この研究で素早い学習を完全にカバーしたと主張することはできない。 0.53
We have opted to use the most readily available, and arguably resource efficient prompt approach to achieve our results. 私たちは、最も容易に利用できる、そして間違いなくリソース効率の良いプロンプトアプローチを使うことを選択しました。 0.68
This work can act as a basis for further clinical prompt learning work, and may encourage the use of relatively small domain specific PLMs rather than relying on the giant PLMs produced by commercial enterprises. この研究は、さらなる臨床即効学習の基礎となり、商用企業によって生産される巨大なplmに頼るのではなく、比較的小さなドメイン固有のplmの使用を促す可能性がある。 0.56
We suggest that it is more efficient to train a small BERT model on a specialised domain and applying prompt learning, than attempting to apply prompt learning directly to models such as GPT-3 which often lack the domain knowledge required. GPT-3のようなドメイン知識を欠くモデルに即時学習を適用するよりも、特定ドメイン上で小さなBERTモデルをトレーニングし、即時学習を適用する方が効率的であることが示唆された。 0.74
11 11 0.43
英語(論文から抽出)日本語訳スコア
Acknowledgement NT is supported by the EPSRC Center for Doctoral Training in Health Data Science (EP/S02428X/1). 認定 NT は EPSRC Center for Doctoral Training in Health Data Science (EP/S02428X/1) によって支援されている。 0.58
AK, ANH, YZ and DWJ were supported in part by the NIHR AI Award for Health and Social Care (NIHR-AI-AWARD0-2183 ); AK and ANH declare a research grant from GlaxoSmithKline. AK、ANH、YZ、DWJは、一部はNIHR AI Award for Health and Social Care (NIHR-AI-AWARD0-2183 )によって支援された。 0.64
DWJ is supported by the NIHR Oxford Health Biomedical Research Centre (grant BRC-1215-20005). DWJはNIHRオックスフォード健康医学研究センター(BRC-1215-20005)が支援している。 0.74
The views expressed are those of the authors and not necessarily those of the UK National Health Service, the NIHR, the UK Department of Health, or the University of Oxford. 表現された見解は、著者のものであり、必ずしも英国国民保健サービス、nihr、英国保健省、オックスフォード大学のものとは限らない。
訳抜け防止モード: 表現された見解は、著者のものであり、必ずしも英国国民衛生局の見解ではない。 英国保健省(nihr)、オックスフォード大学(university of oxford)。
0.65
References Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. jacob devlin, ming-wei chang, kenton lee, kristina toutanovaを参照。 0.67
BERT: Pre-training of deep bidirectional transformers for language understanding. BERT: 言語理解のための双方向トランスフォーマーの事前トレーニング。 0.76
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 4171–4186, Minneapolis, Minnesota, June 2019. The 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), page 4171–4186, Minneapolis, Minnesota, June 2019
訳抜け防止モード: 計算言語学会北米支部2019年大会の成果 : ヒューマン・ランゲージ・テクノロジー 第1巻(長文・短文)、4171-4186頁。 ミネアポリス、ミネソタ、2019年6月。
0.47
Association for Computational Linguistics. doi: 10.18653/v1/N19-1423 . 計算言語学会会員。 doi: 10.18653/v1/n19-1423 。 0.35
URL https: //aclanthology.org/N 19-1423. URL https: //aclanthology.org/N 19-1423。 0.45
Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. アレク・ラドフォード、ジェフ・ウー、レウォン・チャイルド、デイヴィッド・ルーアン、ダリオ・アモデイ、イリヤ・サツバー。 0.50
Language models are unsupervised multitask learners. 言語 モデルは教師なしマルチタスク学習者です 0.72
2019. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al Language models are few-shot learners. 2019. tom brown, benjamin mann, nick ryder, melanie subbiah, jared d kaplan, prafulla dhariwal, arvind neelakantan, pranav shyam, girish sastry, amanda askell, et al language modelsは、わずかなショット学習モデルである。 0.57
Advances in neural information processing systems, 33:1877–1901, 2020a. 神経情報処理システムの進歩 33:1877–1901, 2020a 0.80
Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al Opt: Open pre-trained transformer language models. Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al Opt: 事前訓練されたトランスフォーマー言語モデル。 0.87
arXiv preprint arXiv:2205.01068, 2022. arXiv preprint arXiv:2205.01068, 2022 0.40
Brian Lester, Rami Al-Rfou, and Noah Constant. ブライアン・レスター、ラミ・アル=ルフー、ノア・コンスタン。 0.40
The power of scale for parameter-efficient prompt In Proceedings of the 2021 Conference on Empirical Methods in Natural Language tuning. パラメータ効率向上のための尺度の力 2021年度自然言語チューニングにおける経験的手法に関する会議の成果 0.76
Processing, pages 3045–3059, Online and Punta Cana, Dominican Republic, November 2021. Processing, page 3045–3059, Online and Punta Cana, Dominican Republic, November 2021 0.42
Association for Computational Linguistics. doi: 10.18653/v1/2021.emn lp-main.243. 計算言語学会会員。 doi: 10.18653/v1/2021.emn lp-main.243。 0.34
URL https: //aclanthology.org/2 021.emnlp-main.243. URL https: //aclanthology.org/2 021.emnlp-main.243 0.20
Wenjuan Han, Bo Pang, and Ying Nian Wu. ウェンジュアン・ハン、ボ・パン、ying nian wu。 0.59
Robust transfer learning with pretrained language models through adapters. アダプターによる事前学習言語モデルによるロバスト変換学習 0.73
In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pages 854–861, Online, August 2021. 第59回計算言語学会年次大会および第11回自然言語処理国際合同会議(第2巻:短い論文)の議事録において、884-861ページ、オンライン、2021年8月。 0.68
Association for Computational Linguistics. doi: 10.18653/v1/2021.acl -short.108. 計算言語学会会員。 doi: 10.18653/v1/2021.acl -short.108。 0.34
URL https://aclanthology .org/2021.acl-short. URL https://aclanthology .org/2021.acl-short 0.23
108. Jinhyuk Lee, Wonjin Yoon, Sungdong Kim, Donghyeon Kim, Sunkyu Kim, Chan Ho So, and Jaewoo Kang. 108. 李仁ヒョク・ユン・ウォンジン・キム・ソンドン・キム・ドンヒョン・キム・スンキュウ・キム・チャン・ホー・ソ・ジェーウー・カン 0.47
Biobert: a pre-trained biomedical language representation model for biomedical text mining. Biobert: バイオメディカルテキストマイニングのための事前訓練されたバイオメディカル言語表現モデル。 0.76
CoRR, abs/1901.08746, 2019. corr、abs/1901.08746、2019年。 0.44
URL http://arxiv.org/abs /1901.08746. URL http://arxiv.org/abs /1901.08746 0.46
Kexin Huang, Jaan Altosaar, and Rajesh Ranganath. kexin huang氏、jaan altosaar氏、rajesh ranganath氏。 0.32
Clinicalbert: Modeling clinical notes and clinicalbert: 臨床ノートのモデル化と 0.85
predicting hospital readmission, 2019. 2019年 退院の予報です 0.47
URL https://arxiv.org/ab s/1904.05342. url https://arxiv.org/ab s/1904.05342。 0.41
Emily Alsentzer, John Murphy, William Boag, Wei-Hung Weng, Di Jindi, Tristan Naumann, and In Proceedings of the Matthew McDermott. Emily Alsentzer、John Murphy、William Boag、Wei-Hung Weng、Di Jindi、Tristan Naumann、In Proceedings of the Matthew McDermott。 0.79
Publicly available clinical BERT embeddings. 利用可能な臨床用bert埋め込み。 0.55
2nd Clinical Natural Language Processing Workshop, pages 72–78, Minneapolis, Minnesota, USA, June 2019. 第2回臨床自然言語処理ワークショップ、72-78ページ、ミネソタ州ミネアポリス、2019年6月。 0.70
Association for Computational Linguistics. doi: 10.18653/v1/W19-1909 . 計算言語学会会員。 doi: 10.18653/v1/w19-1909 。 0.45
URL https://aclanthology .org/W19-1909. URL https://aclanthology .org/W19-1909 0.25
Yifan Peng, Shankai Yan, and Zhiyong Lu. Yifan Peng、Shankai Yan、Zhiyong Lu。 0.60
Transfer learning in biomedical natural language processing: An evaluation of BERT and ELMo on ten benchmarking datasets. バイオメディカル自然言語処理における伝達学習:10のベンチマークデータセット上でのBERTとELMoの評価 0.77
In Proceedings of the 18th BioNLP Workshop and Shared Task, pages 58–65, Florence, Italy, August 2019. 18th bionlp workshop and shared task(第58-65ページ、イタリア、フィレンツェ、2019年8月)の議事録。
訳抜け防止モード: 第18回 BioNLP Workshop and Shared Task, Page 58-65 に参加して フィレンツェ、イタリア、2019年8月。
0.79
Association for Computational Linguistics. doi: 10.18653/v1/W19-5006 . 計算言語学会会員。 doi: 10.18653/v1/w19-5006 。 0.35
URL https://aclanthology . url https://aclanthology 。 0.41
org/W19-5006. 略称はw19-5006。 0.23
12 12 0.42
英語(論文から抽出)日本語訳スコア
Suchin Gururangan, Ana Marasovi´c, Swabha Swayamdipta, Kyle Lo, Iz Beltagy, Doug Downey, and Noah A. Smith. 例えば、gururangan、ana marasovi ́c、swabha swayamdipta、kyle lo、iz beltagy、doug downey、noah a. smithである。 0.55
Don’t stop pretraining: Adapt language models to domains and tasks. 事前トレーニングを止めるな: 言語モデルをドメインやタスクに適用する。 0.73
In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pages 8342–8360, Online, July 2020. 第58回計算言語学会年次大会紀要 8342-8360ページ、オンライン、2020年7月。 0.55
Association for Computational Linguistics. doi: 10.18653/v1/2020. 計算言語学会会員。 doi: 10.18653/v1/2020。 0.50
acl-main.740. acl-main.740。 0.23
URL https://aclanthology .org/2020.acl-main.7 40. URL https://aclanthology .org/2020.acl-main.7 40 0.20
Morwenna Senior, Matthias Burghart, Rongqin Yu, Andrey Kormilitzin, Qiang Liu, Nemanja Vaci, Alejo Nevado-Holgado, Smita Pandit, Jakov Zlodre, and Seena Fazel. Morwenna Senior, Matthias Burghart, Rongqin Yu, Andrey Kormilitzin, Qiang Liu, Nemanja Vaci, Alejo Nevado-Holgado, Smita Pandit, Jakov Zlodre, Seena Fazel。 0.42
Identifying predictors of suicide in severe mental illness: a feasibility study of a clinical prediction rule (oxford mental illness and suicide tool or oxmis). 重度精神疾患における自殺の予測因子の同定:臨床予測則(オックスフォード精神疾患および自殺ツールまたはオックスミス)の実現可能性の検討 0.80
Frontiers in psychiatry, 11:268, 2020. 精神医学のフロンティア、11:268、2020。 0.57
doi: 10.3389/fpsyt.2020.0 0268. doi: 10.3389/fpsyt.2020.0 0268。 0.22
URL https://www.frontier sin.org/article/10.3 389/fpsyt.2020.00268 . URL https://www.frontier sin.org/article/10.3 389/fpsyt.2020.00268 0.15
Nemanja Vaci, Ivan Koychev, Chi-Hun Kim, Andrey Kormilitzin, Qiang Liu, Christopher Lucas, Azad Dehghan, Goran Nenadic, and Alejo Nevado-Holgado. ネマニャ・ヴァチ、イヴァン・コイチェフ、チヒョン・キム、アンドレイ・コルミリツィン、チアン・リウ、クリストファー・ルーカス、アザド・デハーガン、ゴラン・ネナディク、アレホ・ネヴァド=ホルガド。 0.40
Real-world effectiveness, its predictors and onset of action of cholinesterase inhibitors and memantine in dementia: retrospective health record study. 認知症におけるコリンエステラーゼ阻害剤とメマンチンの実際の効果, その予測因子および作用開始 : 振り返り健康記録研究 0.70
The British Journal of Psychiatry, 218(5):261–267, 2021. the british journal of psychiatry, 218(5):261–267, 2021 (英語) 0.80
doi: 10.1192/bjp.2020.136 . doi: 10.1192/bjp.2020.136 。 0.44
Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, and Alexander Rush. Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, Alexander Rush
訳抜け防止モード: トーマス・ウルフ、lysandre、victor sanh、julien chaumond。 clement delangue, anthony moi, pierric cistac, tim rault, remi louf, モーガン・ファントウィッツ ジョー・デイヴィソン サム・シュライファー パトリック・フォン・プラトン clara ma, yacine jernite, julien plu, canwen xu, teven le scao, sylvain gugger, mariama drame, quentin lhoestなど。 アレキサンダー・ラッシュ
0.57
Transformers: State-of-theart natural language processing. Transformers: 最先端の自然言語処理。 0.78
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pages 38–45, Online, October 2020. 自然言語処理における経験的手法に関する2020年会議の議事録:システムデモ、38-45ページ、オンライン、2020年10月。 0.70
Association for Computational Linguistics. doi: 10.18653/v1/2020.emn lp-demos.6. 計算言語学会会員。 doi: 10.18653/v1/2020.emn lp-demos.6。 0.34
URL https://aclanthology .org/2020.emnlp-demo s.6. URL https://aclanthology .org/2020.emnlp-demo s.6。 0.19
Robert Leaman, Ritu Khare, and Zhiyong Lu. Robert Leaman, Ritu Khare, Zhiyong Lu 0.30
Challenges in clinical natural language processing for automated disorder normalization. 自動障害正規化のための臨床自然言語処理の課題 0.85
Journal of Biomedical Informatics, 57:28–37, 2015. Journal of Biomedical Informatics, 57:28-37, 2015 0.42
ISSN 1532-0464. ISSN 1532-0464。 0.38
doi: https://doi.org/10.1 016/j.jbi.2015.07.01 0. doi: https://doi.org/10.1 016/j.jbi.2015.07.01 0。 0.16
URL https://www.scienced irect. URL https://www.scienced irect.com 0.30
com/science/article/ pii/S153204641500150 1. 詳細はpii/s153204641500150 1を参照。 0.18
Andrey Kormilitzin, Nemanja Vaci, Qiang Liu, and Alejo Nevado-Holgado. Andrey Kormilitzin, Nemanja Vaci, Qiang Liu, Alejo Nevado-Holgado。 0.40
Med7: a transferable clinical natural language processing model for electronic health records. Med7: 電子健康記録のための転写可能な自然言語処理モデル。 0.83
Artificial Intelligence in Medicine, 118:102086, 2021. 医学における人工知能、118:102086、2021。 0.64
ISSN 0933-3657. ISSN 0933-3657。 0.35
doi: https://doi.org/10.1 016/j.artmed.2021.10 2086. doi: https://doi.org/10.1 016/j.artmed.2021.10 2086 0.18
URL https://www.scienced irect.com/science/ar ticle/pii/S093336572 1000798. URL https://www.scienced irect.com/science/ar ticle/pii/S093336572 1000798 0.18
Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, and Bryan Catanzaro. Shaden Smith, Mostofa Patwary, Brandon Norick, Patrick LeGresley, Samyam Rajbhandari, Jared Casper, Zhun Liu, Shrimai Prabhumoye, George Zerveas, Vijay Korthikanti, Elton Zhang, Rewon Child, Reza Yazdani Aminabadi, Julie Bernauer, Xia Song, Mohammad Shoeybi, Yuxiong He, Michael Houston, Saurabh Tiwary, Bryan Catanzaro
訳抜け防止モード: ショーン・スミス モソファ・パトヴァリー ブランドン・ノリック パトリック・レグレズリー samyam rajbhandari, jared casper, zhun liu, shrimai prabhumoye, george zerveas, vijay korthikanti, elton zhang, rewon child. reza yazdani aminabadi, julie bernauer, xia song, mohammad shoeybi, ユシオン・ヘ、マイケル・ヒューストン、サウラブ・ティワリー、ブライアン・カタンザロ。
0.58
Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model, 2022. ディープスピードとメガトロンを使用して、大規模生成言語モデルであるメガトロンチューリング nlg 530b を訓練する。
訳抜け防止モード: deepspeedとmegatronを使って megatron - turing nlg 530b - 大規模生成言語モデル、2022。
0.82
URL https: //arxiv.org/abs/2201 .11990. URL https: //arxiv.org/abs/2201 .1 1990 0.21
Emily M Bender, Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. Emily M Bender、Timnit Gebru、Angelina McMillan-Major、Shmargaret Shmitchell。 0.79
On the dangers of stochastic parrots: Can language models be too big? 確率的オウムの危険性について:言語モデルは大きすぎるか? 0.68
In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 610–623, 2021. 2021 acm conference on fairness, accountability, and transparencyの議事録には、610–623, 2021ページがある。 0.77
Betty van Aken, Jens-Michalis Papaioannou, Manuel Mayrdorfer, Klemens Budde, Felix Gers, and Alexander Loeser. ベティ・ヴァン・アケン、jens-michalis papaioannou、manuel mayrdorfer、klemens budde、felix gers、alexander loeser。 0.60
Clinical outcome prediction from admission notes using self-supervised In Proceedings of the 16th Conference of the European Chapter of knowledge integration. 第16回欧州知識統合章紀要における自己監督による入試ノートによる臨床成績予測 0.65
the Association for Computational Linguistics: Main Volume, pages 881–893, Online, April 2021. The Association for Computational Linguistics: Main Volume, page 881–893, Online, April 2021 0.42
Association for Computational Linguistics. doi: 10.18653/v1/2021.eac l-main.75. 計算言語学会会員。 doi: 10.18653/v1/2021.eac l-main.75 0.34
URL https://aclanthology .org/2021.eacl-main. 75. URL https://aclanthology .org/2021.eacl-main. 75 0.20
Sanyuan Chen, Yutai Hou, Yiming Cui, Wanxiang Che, Ting Liu, and Xiangzhan Yu. サンユアンチェン、ユタイ・ウー、イミング・キュイ、ワンチャン・チェ、ティン・リウ、チャン・ユ。 0.41
Recall and learn: Fine-tuning deep pretrained language models with less forgetting. リコールと学習: 忘れることが少なく、訓練済みの深い言語モデルを微調整する。 0.60
In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 7870–7881, Online, November 2020. 自然言語処理における経験的手法に関する2020年会議(emnlp)の議事録で、7870-7881頁、オンライン、2020年11月。 0.63
Association for Computational Linguistics. doi: 10.18653/v1/2020. 計算言語学会会員。 doi: 10.18653/v1/2020。 0.50
emnlp-main.634. URL https://aclanthology .org/2020.emnlp-main .634. 背番号634。 URL https://aclanthology .org/2020.emnlp-main .634 0.27
Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel Bowman, and Noah A. Smith. 例えば、gururangan、swabha swayamdipta、omer levy、roy schwartz、samuel bowman、noah a. smithである。 0.63
Annotation artifacts in natural language inference data. 自然言語推論データにおけるアノテーションアーティファクト。 0.81
In Proceedings of the 13 訴訟の手続において 13 0.68
英語(論文から抽出)日本語訳スコア
2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pages 107–112, New Orleans, Louisiana, June 2018. 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), page 107-112, New Orleans, Louisiana, June 2018
訳抜け防止モード: 2018 conference of the north american chapter of the association for computational linguistics: human language technologies (英語) 第2巻(短い論文)、107-112頁、ルイジアナ州ニューオーリンズ。 2018年6月。
0.77
Association for Computational Linguistics. doi: 10.18653/v1/N18-2017 . 計算言語学会会員。 doi: 10.18653/v1/n18-2017 。 0.45
URL https: //aclanthology.org/N 18-2017. URL https: //aclanthology.org/N 18-2017 0.24
Timothy Niven and Hung-Yu Kao. ティモシー・ニヴェンとハングユ・カオ。 0.39
Probing neural network comprehension of natural language arguments. 自然言語引数のニューラルネットワーク理解の探索 0.69
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 4658–4664, Florence, Italy, July 2019. 第57回計算言語学会年次総会では、2019年7月、フィレンツェで4658-4664頁が開催された。 0.61
Association for Computational Linguistics. doi: 10.18653/v1/P19-1459 . 計算言語学会会員。 doi: 10.18653/v1/p19-1459 。 0.35
URL https://aclanthology .org/P19-1459. URL https://aclanthology .org/P19-1459。 0.46
Maximilian Hofer, Andrey Kormilitzin, Paul Goldberg, and Alejo Nevado-Holgado. マクシミリアン・ホーファー、andrey kormilitzin、paul goldberg、alejo nevado-holgado。 0.54
Few-shot learning for named entity recognition in medical text. 一部 医学テキストで名付けられたエンティティ認識の学習 0.56
arXiv preprint arXiv:1811.05468, 2018. arXiv preprint arXiv:1811.05468, 2018 0.40
Xiang Lisa Li and Percy Liang. xiang lisa li と percy liang。 0.61
Prefix-tuning: Optimizing continuous prompts for generation. Prefix-tuning: 生成のための継続的プロンプトの最適化。 0.57
In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 4582–4597, Online, August 2021. 第59回計算言語学会年次総会および第11回自然言語処理国際合同会議(第1巻:長い論文)の議事録において、4582–4597ページ、オンライン、2021年8月。 0.72
Association for Computational Linguistics. doi: 10.18653/v1/2021.acl -long.353. 計算言語学会会員。 doi: 10.18653/v1/2021.acl -long.353。 0.42
URL https://aclanthology .org/2021.acl-long.3 53. URL https://aclanthology .org/2021.acl-long.3 53 0.20
Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig 0.34
Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing, 2021a. プレトレイン,プロンプト,予測:自然言語処理におけるプロンプト手法の体系的調査,2021a。 0.75
URL https://arxiv.org/ab s/2107.13586. URL https://arxiv.org/ab s/2107.13586 0.46
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, and Peter J. Liu. コリン・ラフェル、ノーム・シャザー、アダム・ロバーツ、キャサリン・リー、シャラン・ナラン、マイケル・マテナ、ヤンチー・周、ウェイ・リー、ピーター・j・リュー。
訳抜け防止モード: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li ピーター・J・リュー(Peter J. Liu)。
0.92
Exploring the limits of transfer learning with a unified text-to-text transformer. 統一テキスト-テキストトランスフォーマによるトランスファー学習の限界の検討 0.82
J. Mach. Learn. Res., 21:140:1–140:67, 2020. j・マッハ 学ぶ。 21:140:1–140:67、2020年。 0.48
URL http://jmlr.org/pape rs/ v21/20-074.html. URL http://jmlr.org/pape rs/ v21/20-074.html 0.20
Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateuss Litwin, Scott Gray, Benjamin Chesss, Jack Clark, Christopher Berner, McCandlish, Alec Radford, Ia Sutsk, Dario D. ^
訳抜け防止モード: Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry Amanda Askell, Sandhini Agarwal, Ariel Herbert - Voss, Gretchen Krueger, Tom Henighan Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu クレメンス・ウィンター、クリス・ヘッセン、マーク・チェン、エリック・シグラー。 Mateusz Litwin、Scott Gray、Benjamin Chess、Jack Clark Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever とDario Amodei。
0.80
Language models are few-shot learners. 言語モデルはわずかな学習者です。 0.69
In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 1877–1901. H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, volume 33, pages 1877–1901. ^
訳抜け防止モード: H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan とH. Lin, 編集者, ニューラル情報処理システムの発展 第33巻、1877-1901頁。
0.86
Curran Associates, Inc., 2020b. curran associates, inc., 2020年。 0.60
URL https://proceedings. URL https://proceedings. com 0.68
neurips.cc/paper/202 0/file/1457c0d6bfcb4 967418bfb8ac142f64a- Paper.pdf. neurips.cc/paper/202 0/file/1457c0d6bfb49 67418bfb8ac142f64a-P aper.pdf 0.06
Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Maria Tsimpoukelli、Jacob L Menick、Serkan Cabi、SM Eslami、Oriol Vinyals、Felix Hill。 0.34
Multimodal few-shot learning with frozen language models. 凍結言語モデルを用いたマルチモーダル少数ショット学習 0.79
Advances in Neural Information Processing Systems, 34:200–212, 2021. ニューラル情報処理システムの進歩, 34:200-212, 2021 0.74
Kevin Lu, Aditya Grover, Pieter Abbeel, and Igor Mordatch. Kevin Lu、Aditya Grover、Pieter Abbeel、Igor Mordatch。 0.60
Pretrained transformers as universal ユニバーサルとしての予習変圧器 0.43
computation engines. arXiv preprint arXiv:2103.05247, 2021. 計算エンジン。 arXiv preprint arXiv:2103.05247, 2021 0.54
Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush. Victor Sanh, Albert Webson, Colin Raffel, Stephen Bach, Lintang Sutawika, Zaid Alyafeai, Antoine Chaffin, Arnaud Stiegler, Arun Raja, Manan Dey, M Saiful Bari, Canwen Xu, Urmish Thakker, Shanya Sharma Sharma, Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma, Andrea Santilli, Thibault Fevry, Jason Alan Fries, Ryan Teehan, Teven Le Scao, Stella Biderman, Leo Gao, Thomas Wolf, and Alexander M Rush.
訳抜け防止モード: ヴィクター・サン アルバート・ウェブソン コリン・ラフフェル スティーブン・バッハ lintang sutawika, zaid alyafeai, antoine chaffin, arnaud stiegler, arun raja manan dey, m saiful bari, canwen xu, urmish thakker, shanya sharma sharma, eliza szczechla, taewoon kim, gunjan chhablani。 nihal nayak, debajyoti datta, jonathan chang, mike tian - jian jiang, ハン・ワン マッテオ・マニカ シェン・シェン・シン・ヨン 過酷なパンディー レイチェル・バウデン トーマス・ワン トリシャラ・ネラジ ジョス・ローゼン abheesht sharma, andrea santilli, thibault fevry, jason alan fries。 ライアン・ティーハン ティブン・ル・スカオ ステラ・ビダーマン レオ・ガオ トーマス・ウルフとアレクサンダー・m・ラッシュ。
0.57
Multitask prompted training enables zero-shot task generalization. マルチタスク起動トレーニングは、ゼロショットタスクの一般化を可能にする。 0.45
In International Conference on Learning Representations, 2022. 英語) international conference on learning representations, 2022年。 0.80
URL https://openreview.n et/forum? URL https://openreview.n et/forum? 0.29
id=9Vrb9D0WI4. id=9Vrb9D0WI4。 0.15
Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Lam Tam, Zhengxiao Du, Zhilin Yang, and Jie Tang. Xiao Liu, Kaixuan Ji, Yicheng Fu, Weng Lam Tam, Zhengxiao Du, Zhilin Yang, Jie Tang 0.34
P-tuning v2: Prompt tuning can be comparable to fine-tuning universally across scales and tasks, 2021b. pチューニング v2: プロンプトチューニングは2021bのスケールとタスクをまたいだ微調整に匹敵する。 0.60
URL https://arxiv.org/ab s/2110.07602. URL https://arxiv.org/ab s/2110.07602 0.46
Milad Moradi, Kathrin Blagec, Florian Haberl, and Matthias Samwald. ミラド・モラディ、キャスリン・ブラゲック、フローリアン・ハベル、マティアス・サムワルド。 0.46
Gpt-3 models are poor few- gpt-3モデルは少ない- 0.80
shot learners in the biomedical domain, 2021. 2021年に生物医学分野の 研究者を撃った 0.66
URL https://arxiv.org/ab s/2109.02555. URL https://arxiv.org/ab s/2109.02555 0.23
14 14 0.42
英語(論文から抽出)日本語訳スコア
Sonish Sivarajkumar and Yanshan Wang. Sonish SivarajkumarとYanshan Wang。 0.39
Healthprompt: A zero-shot learning paradigm for clinical Healthprompt: 臨床のためのゼロショット学習パラダイム 0.84
natural language processing, 2022. 自然言語処理、2022年。 0.75
URL https://arxiv.org/ab s/2203.05061. url https://arxiv.org/ab s/2203.05061。 0.38
Shengding Hu, Ning Ding, Huadong Wang, Zhiyuan Liu, Jingang Wang, Juanzi Li, Wei Wu, and Maosong Sun. Shengding Hu、Ning Ding、Huadong Wang、Zhiyuan Liu、Jingang Wang、Juanzi Li、Wei Wu、Maosong Sun。
訳抜け防止モード: シグディングフー、ニンジン、Huadong Wang、Zhiyuan Liu Jingang Wang、Juanzi Li、Wei Wu、Maosong Sun。
0.57
Knowledgeable prompt-tuning: Incorporating knowledge into prompt verbalizer for text classification, 2021. ナレッジブル・プロンプトチューニング: テキスト分類のためのプロンプト動詞化に知識を組み込むこと、2021年。 0.70
URL https://arxiv.org/ab s/2108.02035. URL https://arxiv.org/ab s/2108.02035 0.23
Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Hai-Tao Zheng, and Maosong Sun. Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Hai-Tao Zheng, Maosong Sun 0.38
Openprompt: An open-source framework for prompt-learning, 2021. openprompt: 2021年,プロンプトラーニングのためのオープンソースフレームワーク。 0.74
URL https://arxiv. URL https://arxiv.com 0.72
org/abs/2111.01998. 通称/2111.01998。 0.33
Timo Schick and Hinrich Schütze. ティモ・シックとヒンリッヒ・シュッツェ 0.39
Exploiting cloze-questions for few-shot text classification and natural language inference. 少数のテキスト分類と自然言語推論にcloze-questionsを活用する。 0.68
In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pages 255–269, Online, April 2021. The 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, page 255–269, April 2021
訳抜け防止モード: 第16回欧州計算言語学会欧州支部講演会要旨 : 主巻 255-269頁、オンライン、2021年4月。
0.53
Association for Computational Linguistics. doi: 10.18653/v1/2021.eac l-main.20. 計算言語学会会員。 doi: 10.18653/v1/2021.eac l-main.20 0.34
URL https://aclanthology .org/2021.eacl-main. 20. URL https://aclanthology .org/2021.eacl-main. 20 0.20
Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, and Jie Tang. Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding, Yujie Qian, Zhilin Yang, Jie Tang
訳抜け防止モード: Xiao Liu, Yanan Zheng, Zhengxiao Du, Ming Ding ユジー・チャン、ジリン・ヤン、ジー・タン。
0.68
Gpt understands, too, 2021c. Gpt 2021cもわかってる 0.43
URL https://arxiv.org/ab s/2103.10385. URL https://arxiv.org/ab s/2103.10385 0.23
Karen Hambardzumyan, Hrant Khachatrian, and Jonathan May. karen hambardzumyan氏、hrant khachatrian氏、jonathan may氏。 0.34
WARP: Word-level Adversarial ReProgramming. WARP: ワードレベルのAdversarial ReProgramming。 0.72
In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pages 4921–4933, Online, August 2021. 第59回計算言語学会年次大会および第11回自然言語処理国際合同会議(第1巻:長い論文)の議事録において、4921-4933ページ、オンライン、2021年8月。 0.75
Association for Computational Linguistics. doi: 10.18653/v1/2021.acl -long.381. 計算言語学会会員。 doi: 10.18653/v1/2021.acl -long.381。 0.42
URL https://aclanthology .org/2021.acl-long. URL https://aclanthology .org/2021.acl-long 0.22
381. Alistair E.W. Johnson, Tom J. Pollard, Lu Shen, Li Wei H. Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, and Roger G. Mark. 381. Alistair E.W. Johnson, Tom J. Pollard, Lu Shen, Li Wei H. Lehman, Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits, Leo Anthony Celi, Roger G. Mark
訳抜け防止モード: 381. Alistair E.W. Johnson, Tom J. Pollard, Lu Shen, Li Wei H. Lehman Mengling Feng, Mohammad Ghassemi, Benjamin Moody, Peter Szolovits レオ・アンソニー・セリ、ロジャー・G・マーク。
0.65
Mimiciii, a freely accessible critical care database. mimiciiiは、無料でアクセス可能なクリティカル・ケア・データベース。 0.52
Scientific Data, 3, 5 2016. 科学誌、2016年3月5日。 0.72
ISSN 20524463. ISSN 20524463。 0.81
doi: 10.1038/sdata.2016.3 5. doi: 10.1038/sdata.2016.3 5。 0.22
Chantal Pellegrini, Anees Kazi, and Nassir Navab. Chantal Pellegrini、Anees Kazi、Nassir Navab。 0.32
Unsupervised pre-training on patient population 患者人口の教師なし事前訓練 0.62
graphs for patient-level predictions, 2022. 患者レベル予測グラフ, 2022。 0.68
URL https://arxiv.org/ab s/2203.12616. url https://arxiv.org/ab s/2203.12616。 0.41
Shirly Wang, Matthew B. A. McDermott, Geeticka Chauhan, Marzyeh Ghassemi, Michael C. Hughes, and Tristan Naumann. Shirly Wang、Matthew B. A. McDermott、Geeticka Chauhan、Marzyeh Ghassemi、Michael C. Hughes、Tristan Naumann。
訳抜け防止モード: Shirly Wang, Matthew B. A. McDermott, Geeticka Chauhan, Marzyeh Ghassemi マイケル・C・ヒューズとトリスタン・ナウマン。
0.81
Mimic-extract: A data extraction, preprocessing, and representation pipeline for mimic-iii. Mimic-Extract: 模倣のためのデータ抽出、前処理、表現パイプライン。 0.79
In Proceedings of the ACM Conference on Health, Inference, and Learning, CHIL ’20, page 222–235, New York, NY, USA, 2020. acm conference on health, inference, and learningの議事録には、chil ’20, page 222-235, new york, ny, usa, 2020がある。 0.81
Association for Computing Machinery. アソシエーション・フォー・コンピューティング・マシンズ(Association for Computing Machinery)の略。 0.36
ISBN 9781450370462. ISBN9781450370462。 0.76
doi: 10.1145/3368555.3384 469. doi 10.1145/3368555.3384 469 0.29
URL https://doi.org/10.1 145/3368555. URL https://doi.org/10.1 145/3368555 0.23
3384469. Willie Boag, Dustin Doss, Tristan Naumann, and Peter Szolovits. 3384469. ウィリー・ボーグ、ダスティン・ドス、トリスタン・ナウマン、ピーター・スゾロヴィッツ。 0.47
What’s in a note? メモには何があるのか? 0.62
unpacking predictive value in clinical note representations. 臨床ノート表現における予測値のアンパック化。 0.53
AMIA Summits on Translational Science Proceedings, 2018:26, 2018. amia summits on translational science proceedings, 2018:26, 2018 (英語) 0.65
Zheng Yuan, Chuanqi Tan, and Songfang Huang. Zheng Yuan、Chuanqi Tan、Songfang Huang。 0.33
Code synonyms do matter: Multiple synonyms matching network for automatic icd coding, 2022. コードシノニムは問題となる: 自動icd符号化のための複数のシノニムマッチングネットワーク、2022。 0.55
URL https://arxiv.org/ab s/2203.01515. URL https://arxiv.org/ab s/2203.01515。 0.43
Niall Taylor, Lei Sha, Dan W Joyce, Thomas Lukasiewicz, Alejo Nevado-Holgado, and Andrey Kormilitzin. Niall Taylor、Lei Sha、Dan W Joyce、Thomas Lukasiewicz、Alejo Nevado-Holgado、Andrey Kormilitzin。 0.39
Rationale production to support clinical decision-making. Rationale Productionは臨床意思決定を支援する。 0.73
arXiv preprint arXiv:2111.07611, 2021. arxiv プレプリント arxiv:2111.07611, 2021。 0.41
Pranav Rajpurkar, Emma Chen, Oishi Banerjee, and Eric J Topol. Pranav Rajpurkar、Emma Chen、Oishi Banerjee、Eric J Topol。 0.36
Ai in health and medicine. Nature 健康と医学を専攻。 自然 0.45
Medicine, pages 1–8, 2022. 医学』、1-8頁、2022年。 0.55
Noam Shazeer and Mitchell Stern. ノーム・シェーザーとミッチェル・スターン。 0.51
Adafactor: Adaptive learning rates with sublinear memory cost. Adafactor: サブリニアメモリコストによる適応的学習率。 0.67
In Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, volume 80 of Proceedings of Machine Learning Research, pages 4596–4604. Jennifer Dy and Andreas Krause, editors, Proceedings of the 35th International Conference on Machine Learning, Volume 80 of Proceedings of Machine Learning Research, page 4596–4604 0.42
PMLR, 10–15 Jul 2018. PMLR、2018年10-15月。 0.67
URL https://proceedings. mlr.press/v80/shazee r18a.html. url https://proceeds.mlr .press/v80/shazeer18 a.html。 0.30
Ilya Loshchilov and Frank Hutter. Ilya LoshchilovとFrank Hutter。 0.79
Decoupled weight decay regularization. decoupled weight decay regularization の略。 0.68
In 7th International Conference on Learning Representations, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019. 第7回学習表現に関する国際会議, ICLR 2019, New Orleans, LA, USA, May 6-9, 2019 0.86
OpenReview.net, 2019. OpenReview.net、2019年。 0.64
URL https://openreview.n et/forum? URL https://openreview.n et/forum? 0.29
id=Bkg6RiCqY7. id=Bkg6RiCqY7。 0.42
15 15 0.43
英語(論文から抽出)日本語訳スコア
Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao, and Hoifung Poon. ユーグ、ロバート・ティン、ハ・チェン、マイケル・ルーカス、ウズヤマナオト、シャオドン・リウ、トリスタン・ナウマン、ジャンフェン・ガオ、ホフング・プーン。
訳抜け防止モード: Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas 宇須山直任・西王龍・トリスタン・ナウマン・ジャンフォン・ガオ とHoifung Poon。
0.78
Domain-specific language model pretraining for biomedical natural language processing, 2020. バイオメディカル自然言語処理のためのドメイン固有言語モデル(2020年) 0.74
Appendix A Training details We implement our experiments using a combination of the OpenPrompt framework Ding et al [2021] and the Pytorch packages. 付録 訓練の詳細 我々はopenprompt フレームワーク ding et al [2021] と pytorch パッケージを組み合わせて実験を実装した。 0.66
For prompt learning, we use Adafactor Shazeer and Stern [2018] optimizer for soft and mixed templates, and AdamW Loshchilov and Hutter [2019] optimizer for language models and soft verbalizers. 素早い学習のために、adafactor shazeerとstern [2018]オプティマイザをソフトとミックステンプレートに、adamw loshchilovとhutter [2019]optimizerを言語モデルとソフト言語化に使用しました。 0.67
For traditional fine-tuning, we use AdamW optimizer for MLP heads and language models. 従来の微調整には、MPPヘッドと言語モデルにAdamWオプティマイザを使用します。 0.51
We train the model on a Nvidia RTX 1080 Ti GPU, with a batch size of 4 due to the memory limitation. 我々は、Nvidia RTX 1080 Ti GPUでモデルをトレーニングし、メモリ制限のため、バッチサイズは4である。 0.81
To overcome this, we use gradient accumulation for 10 steps during training. これを解決するために、トレーニング中の10ステップに勾配蓄積を使用します。 0.63
Further details of training and hyperparameters can be in the complimentary code repository. トレーニングとハイパーパラメータの詳細は、補完的なコードリポジトリで確認できる。 0.67
Table A.1 shows the derived optimal hyperparameters for each training paradigm based on the hyperparameter random search. 表 a.1 は、ハイパーパラメータランダム探索に基づく各トレーニングパラダイムの導出した最適ハイパーパラメータを示す。 0.72
The search consisted of 100 training runs using randomly generated hyperparameters from the search space shown in Table 2. 検索は,表2に示す検索空間からランダムに生成されたハイパーパラメータを用いた100のトレーニング実行で構成された。 0.70
Due to relatively limited computational resource, this was only performed for the ICD-9 Triage task and a sub-sample of the training data was used, similar to that of our few-shot experiments with 128 samples per class. 比較的限られた計算資源のため、これはICD-9 Triageタスクでのみ実行され、トレーニングデータのサブサンプルが使用された。
訳抜け防止モード: 比較的限られた計算資源のため、これは ICD-9 Triage タスクでのみ実行された。 トレーニングデータのサブ-サンプルが使用された。 クラス毎の128のサンプルで撮影されたものです。
0.69
Table A.1: Optimized hyperparameters for each training paradigm 表A.1: トレーニングパラダイム毎の最適化ハイパーパラメータ 0.73
hp learning rate batch size gradient accumulation steps dropout optimizer verbalizer learning rate hp学習率バッチサイズ勾配蓄積ステップドロップアウトオプティマイザ言語化学習率 0.62
Traditional fine-tuning Prompt learning 0.0121 4 3 0.1536 adafactor 0.007 従来の微調整プロンプト学習 0.0121 4 3 0.1536 adafactor 0.007 0.61
0.0048 4 4 0.382 adamw n/a 0.0048 4 4 0.382 adamw n/a 0.32
B Dataset details B データセットの詳細 0.69
Mortality and Length of Stay For all clinical tasks a combination of available clinical notes pertaining to the outcome of interest were used, including admission and discharge summaries. すべての臨床タスクの死亡率と滞在期間は、入退院と退院のサマリーを含む、利害関係の利用可能な臨床ノートの組み合わせが使用された。 0.63
Each task dataset was created separately and a 70-10-20 split of training-validation- test sets was used. 各タスクデータセットは別々に作成され、トレーニング検証テストセットの70-10-20が使用された。 0.59
We followed the data engineering steps outlined in the clinical outcomes paper van Aken et al [2021]. 臨床成果論文van aken et al [2021] で概説されたデータエンジニアリングのステップを追跡した。 0.78
ICD-9 50 and ICD-9 Triage The ICD-9 50 task was simply all clinical notes data corresponding to the top 50 most frequently occuring ICD-9 diagnosis codes. ICD-9 50 と ICD-9 のトリアージ ICD-9 50 タスクは、ICD-9 の診断コードで最も頻繁に発生するトップ50に対応するすべての臨床ノートデータであった。 0.68
The production of the ICD-9 Triage task was derived from taking the top 20 ICD-9 diagnosis codes. ICD-9 トリアージタスクは、上位20のICD-9診断コードから作成されている。 0.76
From this subsample, a clinician derived suitable groups representing the destination team on discharge from ICU: Cardiology, Obstetrics, Respiratory Medicine, Neurology, Gastroenterology, Acute or Internal Medicine, and Oncology. このサブサンプルから、心疾患、産婦人科、呼吸器科、神経科、胃腸科、急性または内科、腫瘍学の退院先チームを代表する適切なグループを導出した。
訳抜け防止モード: このサブサンプルから、icuの退院先チームを代表する臨床医の適切なグループ : 循環器科 産科、呼吸器医学、神経学、胃腸疾患、急性または内科 腫瘍学です
0.63
See Fig B.1 showing class distributions for each of the clinical tasks presented in this paper. 本論文で提示した各臨床課題のクラス分布を示す図B.1を参照。 0.84
C Prompt examples C Prompt の例 0.86
Examples of different prompt methods are shown. 異なるプロンプト方法の例を示す。 0.69
For each task we show one manual prompt template and one mixed template. 各タスクに1つの手動プロンプトテンプレートと1つの混合テンプレートが表示されます。 0.67
The <[soft]> token represents the trainable continuous vector or embedding of the mixed template that has been initialised from the PLMs vocabulary. <[soft]>トークンは、PLMの語彙から初期化された混合テンプレートのトレーニング可能な連続ベクトルまたは埋め込みを表す。 0.77
Thus <[soft]>:"This" indicates a soft embedding initialised from the PLMs representation of the token "This". したがって <[soft]>: "This" はトークン "This" の PLM 表現から初期化されたソフトな埋め込みを表す。 0.76
ICD-9 diagnosis code triage ICD-9診断コードトリアージ 0.75
16 16 0.42
英語(論文から抽出)日本語訳スコア
Figure B.1: Distribution of classes for each clinical task 図 b.1: 臨床課題毎の授業の分配 0.86
• <clinical note> Best department is <[MASK]>. • <clinical note> 最善の部門は <[mask]> である。 0.79
• <clinical note> <[soft]>: "This" patient should <[soft]>:"go to this medical team based on • <clinical note> <[soft]>: "this"患者は<[soft]>:"この医療チームに行くべきだ。 0.63
symptoms of their illness" <[MASK]>. その病気の症状は [mask] である。 0.59
Mortality prediction • <clinical note> Patient is on the path to <[MASK]>. 死亡予測 • <clinical note>患者は<[mask]>への道を進んでいる。 0.73
• <clinical note> <[soft]>: "This" patient <[soft]>:"on path to" <[MASK]>. • <clinical note> <[soft]>: "This" patient <[soft]>:"on path to" <[MASK]> 0.29
ICD-9 diagnosis code classification - top 50 ICD-9診断コード分類トップ50 0.89
• <clinical note> Patient has diagnosis <[MASK]> • <clinical note> <[soft]>: "This" patient <[soft]>:"has diagnosis" <[MASK]>. • <臨床ノート>患者は診断 <[mask]> • <臨床ノート> <[soft]>: "this"患者 <[soft]>:"has diagnostic" <[mask]> を有する。 0.58
Length of stay prediction • <clinical note> The patient will be at hospital with a <[MASK]> length. 滞在予測の長さ •<クリニカルノート>患者は<MASK]>の長さで入院する。 0.74
• <clinical note> <[soft]>: "This" patient <[soft]>:"will be in hospital for a " <[MASK]> • <clinical note> <[soft]>: "This" patient <[soft]>:" は "<[MASK]> のために入院する。 0.59
length. D Prompt learning versus Traditional fine-tuning with PubMed BERT 長さ PubMed BERTを用いたDプロンプト学習と従来の微調整 0.72
The PLM used for all presented results in the main body of the paper was the Bio-ClinicalBERT Alsentzer et al [2019], which we have observed was trained using Mimic-III notes. 論文の本文で提示された全結果のplmはbio-clinicalbert alsentzer et al [2019] であり、我々はmitt-iii noteを用いてトレーニングを行った。 0.64
Whilst this was arguably advantageous for both traditional fine-tuning and prompt learning, it may have overly favoured prompt learning due to the reformulation of the classification task as a Masked Language Modelling (MLM) objective. これは従来の微調整と迅速な学習の両方に有利であるが、マスケッド言語モデリング(MLM)の目的として分類タスクが改革されたため、急進的な学習を過度に好んだ可能性がある。 0.67
Therefore we present results of another biomedical BERT model from Microsoft, the PubMedBERT, which was pre-trained from scratch using abstracts from PubMed Gu et al [2020] in Table D.1. そこで本研究では,Microsoft の別のバイオメディカル BERT モデルである PubMedBERT を表D.1 の PubMed Gu et al [2020] の抽象概念を用いて,ゼロから事前学習した。 0.75
It can be seen that prompt learning still outperforms traditional fine-tuning by a large margin on the ICD-9 Triage task, in line with our other results. ICD-9 トリアージタスクでは,学習の迅速化が従来の微調整よりもはるかに優れていることが分かる。
訳抜け防止モード: ICD-9のトリアージタスクでは、学習の迅速化が従来の微調整よりも優れていることが分かる。 他の結果と一致します
0.66
17 41401038941071V30014 24151881V3000V310143 14240507042804304864 10114104157895849198 35770998599966243411 03842562124273143491 43735712V34014271518 84852214321428230384 94151999811038114414 43310162357150425324 00380396244101576129 18105001000150020002 50030003500countICD9 50CardiologyObstetri csRespiratoryNeurolo gyGastroenterologyAc uteMedicineOncology0 2000400060008000coun tICD9 triage01010000200003 000040000countMortal ity12300250050007500 100001250015000count Length of stay 17 41401038941071v30014 241881v3000v31440404 04040404040404040401 41041578958495857709 99624343434343431314 3491437373737373v314 14271717188485221414 23232323242323242424 23232323243434344040 40404040404040404040 40404040403050030003 500counticd9 50cardiologyobstetri csrespiratoryneurolo gygastrospiratoryneu rologyacutemedicinec ology020004000400040 008000800080005000kk kd9 triage01000020000000 00000000000000000000 00000000000000000cou ntality130050001の留保留期間 0.22
英語(論文から抽出)日本語訳スコア
Table D.1: Balanced accuracy results for prompt learning and traditional fine-tuning using Microsoft’s PubMedBert 表 D.1: MicrosoftのPubMedBertを使った素早い学習と従来の微調整のためのバランスの取れた精度結果 0.64
Balanced Accuracy Sample size Traditional fine-tuning Prompt learning 0.2249 16 0.3749 32 64 0.4621 0.7814 128 平衡精度 サンプルサイズ 0.2249 16 0.3749 32 64 0.4621 0.7814 128 0.70
0.1554 0.1521 0.4048 0.5621 0.1554 0.1521 0.4048 0.5621 0.23
18 18 0.42
                                     ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。