論文の概要: DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction

• arxiv url: http://arxiv.org/abs/2409.10504v1
• Date: Mon, 16 Sep 2024 17:45:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 14:38:40.450102
• Title: DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction
• Title（参考訳）: DILA-Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction (特集:一般セッション)
• Authors: John Wu, David Wu, Jimeng Sun,
• Abstract要約: 医用符号化などの高次元・極端なマルチラベルの予測には、精度と解釈性の両方が必要である。 本稿では,非解釈不能な密埋め込みをスパース埋め込み空間に切り離す機械的解釈可能性モジュールを提案する。 当社のスパース埋め込みは、その密度の高い埋め込みよりも、少なくとも50%は人間に理解できることが示されています。
• 参考スコア（独自算出の注目度）: 27.778160315671776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting high-dimensional or extreme multilabels, such as in medical coding, requires both accuracy and interpretability. Existing works often rely on local interpretability methods, failing to provide comprehensive explanations of the overall mechanism behind each label prediction within a multilabel set. We propose a mechanistic interpretability module called DIctionary Label Attention (\method) that disentangles uninterpretable dense embeddings into a sparse embedding space, where each nonzero element (a dictionary feature) represents a globally learned medical concept. Through human evaluations, we show that our sparse embeddings are more human understandable than its dense counterparts by at least 50 percent. Our automated dictionary feature identification pipeline, leveraging large language models (LLMs), uncovers thousands of learned medical concepts by examining and summarizing the highest activating tokens for each dictionary feature. We represent the relationships between dictionary features and medical codes through a sparse interpretable matrix, enhancing the mechanistic and global understanding of the model's predictions while maintaining competitive performance and scalability without extensive human annotation.
• Abstract（参考訳）: 医用符号化などの高次元・極端なマルチラベルの予測には、精度と解釈性の両方が必要である。 既存の研究は、しばしば局所的解釈可能性法に依存しており、多ラベル集合内の各ラベル予測の背後にある全体的なメカニズムを包括的に説明できない。 本稿では,非ゼロ要素(辞書機能)がグローバルに学習された医療概念を表す,非解釈不能な密埋め込みをスパース埋め込み空間に分散させる,Dictionary Label Attention (\method) と呼ばれる機械的解釈可能性モジュールを提案する。 人間の評価を通して、我々の疎結合は、その密度の高いものよりも、少なくとも50%以上人間に理解できることが示されています。 大規模言語モデル(LLM)を活用する自動辞書特徴識別パイプラインでは,各辞書特徴に対して最も高いアクティベーショントークンを調べ,要約することにより,数千の医学的概念を探索する。 本研究では, 辞書の特徴と医用コードとの関係を, スパース解釈可能な行列を用いて表現し, 人間のアノテーションを伴わずに, 競争性能と拡張性を維持しながら, モデルの予測を機械的, グローバルに理解しやすくする。

関連論文リスト

• Beyond Label Attention: Transparency in Language Models for Automated Medical Coding via Dictionary Learning [27.778160315671776]
  辞書の特徴は, モデル行動の把握や, 医学的に無関係なトークンの90%以上の隠された意味の解明に有効であり, 人間の解釈が可能であることを示す。 辞書の特徴は, モデル行動の把握や, 医学的に無関係なトークンの90%以上の隠された意味の解明に有効であり, 人間の解釈が可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T19:39:40Z)
• Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT [59.245414547751636]
  本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。 当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。 我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
  論文  参考訳（メタデータ） (2024-02-19T15:04:53Z)
• Improving Large-Scale k-Nearest Neighbor Text Categorization with Label Autoencoders [0.0]
  本稿では,大規模文書コレクションの自動セマンティックインデックス処理を扱うために,多ラベル遅延学習手法を提案する。 提案手法は従来のk-Nearest Neighborsアルゴリズムの進化である。 我々は,MEDLINEバイオメディカル文書コレクションの大部分において提案提案を評価した。
  論文  参考訳（メタデータ） (2024-02-03T00:11:29Z)
• Representing visual classification as a linear combination of words [0.0]
  視覚分類タスクの言語ベースの記述子を識別するために,視覚言語モデルを用いた説明可能性戦略を提案する。 画像とテキストの間に予め訓練された結合埋め込み空間を利用することで,新しい分類課題を単語の線形結合として推定する。 その結果,ドメイン特化言語訓練の欠如にもかかわらず,結果として得られた記述子は臨床知識とほぼ一致していることが判明した。
  論文  参考訳（メタデータ） (2023-11-18T02:00:20Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Biomedical Named Entity Recognition via Dictionary-based Synonym Generalization [51.89486520806639]
  本研究では,入力テキストに含まれる生物医学的概念をスパンベース予測を用いて認識する,新しいSynGenフレームワークを提案する。 提案手法を広範囲のベンチマークで広範囲に評価し,SynGenが従来の辞書ベースモデルよりも顕著なマージンで優れていることを確認した。
  論文  参考訳（メタデータ） (2023-05-22T14:36:32Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Token Classification for Disambiguating Medical Abbreviations [0.0]
  省略は避けられないが、医療テキストの重要な部分である。 標準化されたマッピングシステムの欠如は、曖昧な省略を困難かつ時間を要するタスクにする。
  論文  参考訳（メタデータ） (2022-10-05T18:06:49Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
  既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。 ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
  論文  参考訳（メタデータ） (2020-05-18T15:27:55Z)
• Seeing The Whole Patient: Using Multi-Label Medical Text Classification Techniques to Enhance Predictions of Medical Codes [2.158285012874102]
  18,50,155ラベルの多ラベル医療用テキスト分類問題について報告する。 不均衡なデータに対して、頻繁に発生するラベルは、埋め込みに組み込まれた追加機能から最も恩恵を受けることを示す。 この研究の高次元埋め込みは公共用途に利用可能である。
  論文  参考訳（メタデータ） (2020-03-29T02:19:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。