論文の概要: DictLLM: Harnessing Key-Value Data Structures with Large Language Models for Enhanced Medical Diagnostics

• arxiv url: http://arxiv.org/abs/2402.11481v1
• Date: Sun, 18 Feb 2024 07:10:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 21:00:13.057259
• Title: DictLLM: Harnessing Key-Value Data Structures with Large Language Models for Enhanced Medical Diagnostics
• Title（参考訳）: DictLLM:医学診断のための大規模言語モデルを用いたキーバリューデータ構造
• Authors: YiQiu Guo, Yuchen Yang, Ya Zhang, Yu Wang, Yanfeng Wang
• Abstract要約: DictLLMは、医学実験室報告のようなキーバリュー構造化データのモデリングを改善するために設計された革新的なフレームワークである。 診断自動生成のための総合的な実世界医療実験室レポートデータセットを用いて,様々なLCMモデルを用いた実験を行った。
• 参考スコア（独自算出の注目度）: 36.057925881268226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structured data offers a sophisticated mechanism for the organization of information. Existing methodologies for the text-serialization of structured data in the context of large language models fail to adequately address the heterogeneity inherent in key-value structured data. These methods are not ideal and frequently result in larger input sizes and poor adaptability to input changes. In this paper, we introduce DictLLM, an innovative framework designed to improve the modeling of key-value structured data, like medical laboratory reports, for generating medical diagnoses. DictLLM integrates three key components: (1) group positional encoding to maintain permutation invariance, (2) hierarchical attention bias to capture the inherent bias in structured data, and (3) an optimal transport alignment layer that aligns the embedding generated by the dictionary encoder with the LLM, thereby producing a sequence of fixed-length virtual tokens. We carry out experiments using various LLM models on a comprehensive real-world medical laboratory report dataset for automatic diagnosis generation, our findings illustrate that DictLLM significantly outperforms established baseline methods and few-shot GPT-4 implementations in terms of both Rouge-L and Knowledge F1 scores. Furthermore, our evaluation of the framework's scalability and robustness, through a series of experiments, underscores its exceptional capability in accurately modeling the complex key-value data structure of medical dictionary data.
• Abstract（参考訳）: 構造化データは、情報の組織化のための洗練されたメカニズムを提供する。 大規模言語モデルの文脈における構造化データのテキストシリアライズのための既存の手法は、キー値構造化データに固有の不均一性に適切に対処できない。 これらの手法は理想的ではなく、しばしば入力サイズが大きくなり、入力変更への適応性が低い。 本稿では,医学検査報告などのキーバリュー構造化データのモデリングの改善を目的とした,医療診断のための革新的なフレームワークであるDictLLMを紹介する。 DictLLMは,(1)置換不変性を維持するためのグループ位置符号化,(2)構造化データの固有バイアスを捉える階層的注意バイアス,(3)辞書エンコーダが生成する埋め込みをLCMに整列させる最適な輸送アライメント層,の3つの重要な構成要素を統合し,固定長仮想トークンのシーケンスを生成する。 診断自動生成のための総合的実世界医学実験室レポートデータセット上で,様々なllmモデルを用いた実験を行い,この結果から,ディクセルムはルージュlと知識f1得点の両方において,確立されたベースライン法と少数ショットgpt-4実装を有意に上回っていることが示された。 さらに,このフレームワークのスケーラビリティとロバスト性の評価は,医用辞書データの複雑なキー・バリューデータ構造を正確にモデル化する上で,その例外的な能力を強調する。

関連論文リスト

• Representation Learning of Structured Data for Medical Foundation Models [29.10129199884847]
  我々はUniStructアーキテクチャを導入し、構造化されていないテキストと構造化データのマルチモーダル医療基盤モデルを設計する。 本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
  論文  参考訳（メタデータ） (2024-10-17T09:02:28Z)
• Local Large Language Models for Complex Structured Medical Tasks [0.0]
  本稿では,大規模言語モデルの言語推論機能と,複雑なドメイン特化タスクに取り組むための局所学習の利点を組み合わせたアプローチを提案する。 具体的には,病理報告から構造化条件コードを抽出し,そのアプローチを実証する。
  論文  参考訳（メタデータ） (2023-08-03T12:36:13Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records [23.379185792773875]
  マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。 まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
  論文  参考訳（メタデータ） (2022-01-25T06:14:49Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。