論文の概要: Diagnosing Transformers: Illuminating Feature Spaces for Clinical Decision-Making

• arxiv url: http://arxiv.org/abs/2305.17588v3
• Date: Mon, 26 Feb 2024 23:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 23:00:14.652461
• Title: Diagnosing Transformers: Illuminating Feature Spaces for Clinical Decision-Making
• Title（参考訳）: 変圧器診断 : 臨床意思決定のための照明機能空間
• Authors: Aliyah R. Hsu, Yeshwanth Cherapanamjeri, Briton Park, Tristan Naumann, Anobel Y. Odisho, Bin Yu
• Abstract要約: 事前訓練されたトランスフォーマーは、限られた臨床ノートを使用して臨床意思決定を支援するために微調整されることが多い。 モデルの解釈可能性は、特に医学のような高度な領域において、信頼を確立し、安全性を確保するために不可欠である。 本稿では,微調整型変換器の特徴空間の解釈可能性を高めるための体系的フレームワークであるSUFOを紹介する。
• 参考スコア（独自算出の注目度）: 14.377412942836143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformers are often fine-tuned to aid clinical decision-making using limited clinical notes. Model interpretability is crucial, especially in high-stakes domains like medicine, to establish trust and ensure safety, which requires human engagement. We introduce SUFO, a systematic framework that enhances interpretability of fine-tuned transformer feature spaces. SUFO utilizes a range of analytic and visualization techniques, including Supervised probing, Unsupervised similarity analysis, Feature dynamics, and Outlier analysis to address key questions about model trust and interpretability. We conduct a case study investigating the impact of pre-training data where we focus on real-world pathology classification tasks, and validate our findings on MedNLI. We evaluate five 110M-sized pre-trained transformer models, categorized into general-domain (BERT, TNLR), mixed-domain (BioBERT, Clinical BioBERT), and domain-specific (PubMedBERT) groups. Our SUFO analyses reveal that: (1) while PubMedBERT, the domain-specific model, contains valuable information for fine-tuning, it can overfit to minority classes when class imbalances exist. In contrast, mixed-domain models exhibit greater resistance to overfitting, suggesting potential improvements in domain-specific model robustness; (2) in-domain pre-training accelerates feature disambiguation during fine-tuning; and (3) feature spaces undergo significant sparsification during this process, enabling clinicians to identify common outlier modes among fine-tuned models as demonstrated in this paper. These findings showcase the utility of SUFO in enhancing trust and safety when using transformers in medicine, and we believe SUFO can aid practitioners in evaluating fine-tuned language models for other applications in medicine and in more critical domains.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーは、限られた臨床ノートを使用して臨床意思決定を支援するために微調整されることが多い。 モデルの解釈可能性は、特に医療のような高度な領域において、信頼を確立し、人間の関与を必要とする安全を確保するために不可欠である。 我々は,微調整された変圧器特徴空間の解釈性を高める体系的枠組みであるsufoを紹介する。 sufoは、モデル信頼と解釈可能性に関する重要な問題に対処するために、教師付き調査、教師なし類似性分析、特徴動力学、異常解析を含む、様々な分析および可視化技術を使用している。 我々は,実世界の病理分類タスクに着目した事前学習データの影響を事例研究し,MedNLIに関する知見を検証した。 110Mサイズのプレトレーニングトランスモデルを5種類評価し、一般ドメイン(BERT, TNLR)、混合ドメイン(BioBERT, Clinical BioBERT)、ドメイン固有(PubMedBERT)グループに分類した。 ドメイン固有モデルであるPubMedBERTは、微調整に有用な情報を含んでいるが、クラス不均衡が存在する場合、マイノリティクラスに過度に適応できる。 これとは対照的に、混合ドメインモデルではオーバーフィッティングに対する抵抗が強くなり、ドメイン固有のモデルの堅牢性が向上する可能性が示唆され、(2) ドメイン内事前トレーニングは微調整時の特徴の曖昧さを加速し、(3) 特徴空間は、この過程において著しくスパース化され、臨床医は、本論文で示されるように、微調整されたモデル間で共通の異常モードを識別できる。 これらの知見は,医療におけるトランスフォーマーの信頼性と安全性を高める上でのSUFOの有用性を示し,医用およびより重要な領域において,より微調整された言語モデルを評価する上で,SUFOは実践者を支援することができると考えている。

関連論文リスト

• Transfer Learning with Clinical Concept Embeddings from Large Language Models [4.838020198075334]
  大言語モデル (LLMs) は, 臨床的概念の意味を捉える重要な可能性を示している。 本研究では,2つの大規模医療システムからの電子健康記録を分析し,セマンティック埋め込みが局所的,共有的,移動的学習モデルに与える影響を評価する。
  論文  参考訳（メタデータ） (2024-09-20T20:50:55Z)
• Analyzing the Effect of $k$-Space Features in MRI Classification Models [0.0]
  医用イメージングに適した説明可能なAI手法を開発した。 我々は、画像領域と周波数領域の両方にわたるMRIスキャンを分析する畳み込みニューラルネットワーク(CNN)を採用している。 このアプローチは、初期のトレーニング効率を高めるだけでなく、追加機能がモデル予測にどのように影響するかの理解を深めます。
  論文  参考訳（メタデータ） (2024-09-20T15:43:26Z)
• Improved EATFormer: A Vision Transformer for Medical Image Classification [0.0]
  本稿では,ビジョントランスフォーマを用いた医用画像分類のための改良されたアルゴリズムベースのトランスフォーマアーキテクチャを提案する。 提案したEATFormerアーキテクチャは、畳み込みニューラルネットワークとビジョントランスフォーマーの長所を組み合わせたものだ。 Chest X-rayデータセットとKvasirデータセットの実験結果から,提案したEATFormerはベースラインモデルと比較して予測速度と精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-03-19T21:40:20Z)
• How Well Does GPT-4V(ision) Adapt to Distribution Shifts? A Preliminary Investigation [90.93999543169296]
  GPT-4Vは最も先進的な多モード基盤モデルとして機能する。 本研究は, GPT-4Vの動的環境における適応性と一般化能力について, 厳密に評価する。
  論文  参考訳（メタデータ） (2023-12-12T16:48:07Z)
• DARE: Towards Robust Text Explanations in Biomedical and Healthcare Applications [54.93807822347193]
  帰属ロバスト性評価手法を与えられたドメインに適応させ、ドメイン固有の妥当性を考慮する方法を示す。 次に,DAREが特徴とする脆さを軽減するために,対人訓練とFAR訓練の2つの方法を提案する。 最後に,確立した3つのバイオメディカル・ベンチマークを用いて実験を行い,本手法を実証的に検証した。
  論文  参考訳（メタデータ） (2023-07-05T08:11:40Z)
• Curriculum-Based Augmented Fourier Domain Adaptation for Robust Medical Image Segmentation [18.830738606514736]
  本研究は、堅牢な医用画像分割のためのカリキュラムベースの拡張フーリエドメイン適応(Curri-AFDA)を提案する。 特に、カリキュラム学習戦略は、異なるレベルのデータシフトの下でのモデルの因果関係に基づいている。 複数のサイトやスキャナーから収集した網膜と核の2つのセグメンテーションタスクの実験から,提案手法が優れた適応と一般化性能をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-06-06T08:56:58Z)
• Parameter-Efficient Transformer with Hybrid Axial-Attention for Medical Image Segmentation [10.441315305453504]
  医用画像セグメンテーションのための位置情報を用いた本質的帰納バイアスを探索するパラメータ効率変換器を提案する。 そこで本研究では,空間画素情報と相対位置情報を帰納バイアスとして利用できるハイブリッド軸アテンション(HAA)を提案する。
  論文  参考訳（メタデータ） (2022-11-17T13:54:55Z)
• Differentiable Agent-based Epidemiology [71.81552021144589]
  GradABM(GradABM)は、エージェントベースのモデリングのためのスケーラブルで微分可能な設計で、勾配に基づく学習と自動微分が可能である。 GradABMは、コモディティハードウェア上で数秒で数百万の人口をシミュレートし、ディープニューラルネットワークと統合し、異種データソースを取り込みます。
  論文  参考訳（メタデータ） (2022-07-20T07:32:02Z)
• Adversarial Sample Enhanced Domain Adaptation: A Case Study on Predictive Modeling with Electronic Health Records [57.75125067744978]
  ドメイン適応を容易にするデータ拡張手法を提案する。 逆生成したサンプルはドメイン適応時に使用される。 その結果,本手法の有効性とタスクの一般性が確認された。
  論文  参考訳（メタデータ） (2021-01-13T03:20:20Z)
• Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
  実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。 本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。 本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
  論文  参考訳（メタデータ） (2020-09-16T16:56:23Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。