論文の概要: Beyond Label Attention: Transparency in Language Models for Automated Medical Coding via Dictionary Learning

• arxiv url: http://arxiv.org/abs/2411.00173v1
• Date: Thu, 31 Oct 2024 19:39:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:30.448383
• Title: Beyond Label Attention: Transparency in Language Models for Automated Medical Coding via Dictionary Learning
• Title（参考訳）: ラベル注意を超えて:辞書学習による自動医療符号化のための言語モデルの透明性
• Authors: John Wu, David Wu, Jimeng Sun,
• Abstract要約: 辞書の特徴は, モデル行動の把握や, 医学的に無関係なトークンの90%以上の隠された意味の解明に有効であり, 人間の解釈が可能であることを示す。 辞書の特徴は, モデル行動の把握や, 医学的に無関係なトークンの90%以上の隠された意味の解明に有効であり, 人間の解釈が可能であることを示す。
• 参考スコア（独自算出の注目度）: 27.778160315671776
• License:
• Abstract: Medical coding, the translation of unstructured clinical text into standardized medical codes, is a crucial but time-consuming healthcare practice. Though large language models (LLM) could automate the coding process and improve the efficiency of such tasks, interpretability remains paramount for maintaining patient trust. Current efforts in interpretability of medical coding applications rely heavily on label attention mechanisms, which often leads to the highlighting of extraneous tokens irrelevant to the ICD code. To facilitate accurate interpretability in medical language models, this paper leverages dictionary learning that can efficiently extract sparsely activated representations from dense language model embeddings in superposition. Compared with common label attention mechanisms, our model goes beyond token-level representations by building an interpretable dictionary which enhances the mechanistic-based explanations for each ICD code prediction, even when the highlighted tokens are medically irrelevant. We show that dictionary features can steer model behavior, elucidate the hidden meanings of upwards of 90% of medically irrelevant tokens, and are human interpretable.
• Abstract（参考訳）: 非構造化臨床テキストを標準化された医療コードに翻訳する医療コーディングは、重要なが時間を要する医療実践である。 大規模言語モデル(LLM)は、コーディングプロセスの自動化と、そのようなタスクの効率向上を実現することができるが、患者の信頼を維持する上では、解釈可能性が最も重要である。 医療用コーディングアプリケーションの解釈可能性に関する現在の取り組みは、ラベルアテンション機構に大きく依存しており、しばしばICDコードとは無関係な外部トークンのハイライトにつながる。 医用言語モデルの正確な解釈を容易にするために,重畳した言語モデル埋め込みから疎活性化表現を効率的に抽出できる辞書学習を利用する。 一般的なラベルアテンション機構と比較して,強調されたトークンが医学的に無関係である場合でも,ICDコード予測の機械的説明を強化する解釈可能な辞書を構築することで,トークンレベルの表現を超越する。 辞書の特徴は, モデル行動の把握や, 医学的に無関係なトークンの90%以上の隠された意味の解明に有効であり, 人間の解釈が可能であることを示す。

関連論文リスト

• DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction [27.778160315671776]
  医用符号化などの高次元・極端なマルチラベルの予測には、精度と解釈性の両方が必要である。 本稿では,非解釈不能な密埋め込みをスパース埋め込み空間に切り離す機械的解釈可能性モジュールを提案する。 当社のスパース埋め込みは、その密度の高い埋め込みよりも、少なくとも50%は人間に理解できることが示されています。
  論文  参考訳（メタデータ） (2024-09-16T17:45:40Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Classifying Unstructured Clinical Notes via Automatic Weak Supervision [17.45660355026785]
  クラスラベル記述のみから学習する、一般的な弱教師付きテキスト分類フレームワークを導入する。 我々は、事前訓練された言語モデルとデータプログラミングフレームワークに格納された言語ドメインの知識を活用して、テキストにコードラベルを割り当てる。
  論文  参考訳（メタデータ） (2022-06-24T05:55:49Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding [5.273190477622007]
  国際疾患分類法 (ICD) は, 医療分野の請求システムにおいて有効かつ重要であることが示されている。 現在、ICDコードは手動で臨床メモに割り当てられており、多くのエラーを引き起こす可能性がある。 本稿では,文書のトークン間の相互依存を捉えるためにトランスフォーマーベースのアーキテクチャを適用し,コードワイド・アテンション・メカニズムを用いて文書全体のコード固有表現を学習する。
  論文  参考訳（メタデータ） (2021-03-28T05:34:32Z)
• Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study [2.871614744079523]
  事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。 本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。 現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
  論文  参考訳（メタデータ） (2021-03-11T07:23:45Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation [4.4036730220831535]
  自動化医療符号化のためのディープラーニングに関する最近の研究は、有望なパフォーマンスを実現した。 本稿では,各ラベルに関連する単語や文の重要度(注意重みなど)を定量化し,モデルを解釈することを目的とした階層的ラベル・ワイド・アテンション・ネットワーク(HLAN)を提案する。 第2に,ラベル埋め込み(LE)初期化アプローチによる大規模深層学習モデルの拡張を提案する。これは,高密度かつ連続的なベクトル表現を学習し,その表現をモデル内の最終層とラベルの注意層に注入する。
  論文  参考訳（メタデータ） (2020-10-29T16:21:26Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。