論文の概要: CHiLL: Zero-shot Custom Interpretable Feature Extraction from Clinical
Notes with Large Language Models
- arxiv url: http://arxiv.org/abs/2302.12343v2
- Date: Thu, 19 Oct 2023 18:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 13:06:13.845620
- Title: CHiLL: Zero-shot Custom Interpretable Feature Extraction from Clinical
Notes with Large Language Models
- Title(参考訳): chill: 大きな言語モデルを用いた臨床ノートからのゼロショットカスタム解釈可能な特徴抽出
- Authors: Denis Jered McInerney, Geoffrey Young, Jan-Willem van de Meent, Byron
C. Wallace
- Abstract要約: CHiLLは、専門家が作成したクエリでLLMにプロンプトして、ヘルスレコードから解釈可能な機能を生成する。
結果として生じる雑音ラベルは、単純な線形分類器を訓練するために使用される。
自動抽出された特徴を用いた線形モデルは参照特徴を用いたモデルと互換性があり、"Bag-of-Words"特徴を用いた線形モデルよりも高い解釈性が得られることがわかった。
- 参考スコア(独自算出の注目度): 24.048687797399637
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We propose CHiLL (Crafting High-Level Latents), an approach for
natural-language specification of features for linear models. CHiLL prompts
LLMs with expert-crafted queries to generate interpretable features from health
records. The resulting noisy labels are then used to train a simple linear
classifier. Generating features based on queries to an LLM can empower
physicians to use their domain expertise to craft features that are clinically
meaningful for a downstream task of interest, without having to manually
extract these from raw EHR. We are motivated by a real-world risk prediction
task, but as a reproducible proxy, we use MIMIC-III and MIMIC-CXR data and
standard predictive tasks (e.g., 30-day readmission) to evaluate this approach.
We find that linear models using automatically extracted features are
comparably performant to models using reference features, and provide greater
interpretability than linear models using "Bag-of-Words" features. We verify
that learned feature weights align well with clinical expectations.
- Abstract(参考訳): 線形モデルの特徴を自然言語で記述する手法としてCHiLL(Crafting High-Level Latents)を提案する。
CHiLLは、専門家が作成したクエリでLLMにプロンプトして、ヘルスレコードから解釈可能な機能を生成する。
結果として生じるノイズラベルは、単純な線形分類器を訓練するために使用される。
llmへのクエリに基づいて機能を生成することで、医師は自身のドメインの専門知識を使って、興味のある下流のタスクに臨床的に意味のある機能を開発できるようになる。
我々は、現実世界のリスク予測タスクに動機付けられているが、再現可能なプロキシとして、MIMIC-IIIとMIMIC-CXRデータと標準予測タスク(例:30日読み出し)を用いてこのアプローチを評価する。
自動抽出された特徴を用いた線形モデルは参照特徴を用いたモデルと互換性があり、"Bag-of-Words"特徴を用いた線形モデルよりも高い解釈性が得られる。
学習した機能重みが臨床上の期待に合致していることを確認する。
関連論文リスト
- VANER: Leveraging Large Language Model for Versatile and Adaptive Biomedical Named Entity Recognition [3.4923338594757674]
大型言語モデル(LLM)は、様々な種類のエンティティを抽出できるモデルを訓練するために使用することができる。
本稿では,オープンソースのLLM LLaMA2をバックボーンモデルとして利用し,異なるタイプのエンティティとデータセットを区別するための具体的な命令を設計する。
我々のモデルVANERは、パラメータの小さな分割で訓練され、従来のLLMモデルよりも大幅に優れており、LLMをベースとしたモデルとして初めて、従来の最先端のBioNERシステムの大部分を上回りました。
論文 参考訳(メタデータ) (2024-04-27T09:00:39Z) - Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。
FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
論文 参考訳(メタデータ) (2024-04-15T06:26:08Z) - Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Automated Labeling of German Chest X-Ray Radiology Reports using Deep
Learning [50.591267188664666]
本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。
その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
論文 参考訳(メタデータ) (2023-06-09T16:08:35Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - Offline RL for Natural Language Generation with Implicit Language Q
Learning [87.76695816348027]
ユーザ指定タスクの完了に関して、大きな言語モデルは矛盾する可能性がある。
本稿では,RLのフレキシブル・ユーティリティ・フレームワークと教師あり学習能力を組み合わせた新しいRL手法を提案する。
ILQLの実証的な検証に加えて、オフラインRLが自然言語生成設定で有用となるような、詳細な経験的分析状況も提示する。
論文 参考訳(メタデータ) (2022-06-05T18:38:42Z) - Learning Mixtures of Random Utility Models with Features from Incomplete
Preferences [34.50516583809234]
それぞれの代替品が、おそらくエージェント間で異なる、機能のベクターを持つような、機能とそれらの混合を伴うRUMについて検討する。
我々はRUMと特徴の混合を不完全な嗜好を生成し、その識別性を特徴づけるモデルに拡張する。
本実験は,PL上でのMLEの有効性を示すものであり,統計効率と計算効率のトレードオフがある。
論文 参考訳(メタデータ) (2020-06-06T13:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。