論文の概要: CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer

• arxiv url: http://arxiv.org/abs/2507.13655v1
• Date: Fri, 18 Jul 2025 04:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.188749
• Title: CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer
• Title（参考訳）: CU-ICU:テキスト・テキスト・トランスフォーマを用いたICUデータセットのための教師なし命令型言語モデルのカスタマイズ
• Authors: Teerapong Panboonyuen,
• Abstract要約: ICUデータセットの教師なし命令定義言語モデルをカスタマイズするCU-ICUを提案する。 CU-ICUは、数発のプロンプトと選択パラメータ更新を組み合わせたスパース微調整方式を採用している。 我々は,CU-ICUが標準微調整法よりも予測精度と解釈可能性を向上させることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Integrating large language models into specialized domains like healthcare presents unique challenges, including domain adaptation and limited labeled data. We introduce CU-ICU, a method for customizing unsupervised instruction-finetuned language models for ICU datasets by leveraging the Text-to-Text Transfer Transformer (T5) architecture. CU-ICU employs a sparse fine-tuning approach that combines few-shot prompting with selective parameter updates, enabling efficient adaptation with minimal supervision. Our evaluation across critical ICU tasks--early sepsis detection, mortality prediction, and clinical note generation--demonstrates that CU-ICU consistently improves predictive accuracy and interpretability over standard fine-tuning methods. Notably, CU-ICU achieves up to a 15% increase in sepsis detection accuracy and a 20% enhancement in generating clinically relevant explanations while updating fewer than 1% of model parameters in its most efficient configuration. These results establish CU-ICU as a scalable, low-overhead solution for delivering accurate and interpretable clinical decision support in real-world ICU environments.
• Abstract（参考訳）: 大きな言語モデルをヘルスケアのような特殊なドメインに統合することは、ドメイン適応や限定ラベル付きデータなど、ユニークな課題を提示します。 本稿では,テクスチャ・トゥ・テキスト・トランスフォーマ (T5) アーキテクチャを活用することで,ICUデータセットの教師なし命令定義言語モデルをカスタマイズする手法であるCU-ICUを紹介する。 CU-ICUは、数発のプロンプトと選択パラメータの更新を組み合わせることで、最小限の監視で効率的な適応を可能にするスパース微調整方式を採用している。 重要なICUタスク(早期の敗血症検出,死亡予測,臨床ノート生成)における評価は,CU-ICUが標準微調整法よりも常に予測精度と解釈性を向上させることを証明している。 特にCU-ICUは、最も効率的な構成でモデルパラメータの1%未満を更新しながら、敗血症検出精度が最大15%向上し、臨床的に関連する説明が20%向上する。 これらの結果から,CU-ICUは実世界のICU環境において,正確かつ解釈可能な臨床診断支援を実現するための,スケーラブルで低オーバーヘッドなソリューションとして確立されている。

関連論文リスト

• Improving Representation Learning of Complex Critical Care Data with ICU-BERT [7.287023190850672]
  ICU-BERTは、MIMIC-IVデータベース上で事前トレーニングされたトランスフォーマーベースのモデルである。 最小限の事前処理で複雑なICUデータの堅牢な表現を学習する。 微調整を活用することで、現在のパフォーマンスベンチマークと比較するか、超えるかのどちらかだ。
  論文  参考訳（メタデータ） (2025-02-26T22:16:58Z)
• Neural Conformal Control for Time Series Forecasting [54.96087475179419]
  非定常環境における適応性を高める時系列のニューラルネットワーク共形予測手法を提案する。 提案手法は,ニューラルネットワークエンコーダを用いた補助的マルチビューデータを活用することにより,望ましい対象範囲を達成するために設計されたニューラルネットワークコントローラとして機能する。 予測間隔の整合性に優れたキャリブレーションを組み合わさった手法は, 適用範囲と確率的精度の大幅な向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-12-24T03:56:25Z)
• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Spatially Covariant Image Registration with Text Prompts [10.339385546491284]
  TextSCFは、空間的共変フィルタと視覚言語モデルで符号化されたテキスト解剖プロンプトを統合する新しい手法である。 TextSCFは計算効率を向上するが、登録精度の維持や改善も可能である。 そのパフォーマンスは、オブジェクト間脳MRIと腹部CTの登録タスクで厳格にテストされている。
  論文  参考訳（メタデータ） (2023-11-27T08:00:53Z)
• Improving Clinical Decision Support through Interpretable Machine Learning and Error Handling in Electronic Health Records [6.594072648536156]
  Trust-MAPSは、臨床領域の知識を高次元の混合整数プログラミングモデルに変換する。 信頼スコアは、臨床決定支援タスクの予測性能を高めるだけでなく、MLモデルに解釈可能性を与える臨床的に有意義な特徴として出現する。
  論文  参考訳（メタデータ） (2023-08-21T15:14:49Z)
• P-Transformer: A Prompt-based Multimodal Transformer Architecture For Medical Tabular Data [2.4688646371447898]
  医用表データに特化して設計されたマルチモーダルアンダーライントランスフォーマアーキテクチャであるPTransformerを提案する。 このフレームワークは、構造化データと非構造化データの両方から、多彩なモダリティを調和した言語意味空間に効率的にエンコードする。 PTransformerは、RMSE/MAEで10.9%/11.0%、RMSE/MAEで0.5%/2.2%、BACC/AUROCで1.6%/0.8%の改善を実証した。
  論文  参考訳（メタデータ） (2023-03-30T14:25:44Z)
• Reprogramming Pretrained Language Models for Protein Sequence Representation Learning [68.75392232599654]
  エンドツーエンドの表現学習フレームワークである辞書学習(R2DL)による表現学習を提案する。 R2DLは、タンパク質配列の埋め込みを学ぶために、事前訓練された英語モデルを再プログラムする。 我々のモデルは,事前訓練および標準教師付き手法によって設定されたベースラインに対して,最大105ドルの精度でデータ効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-01-05T15:55:18Z)
• Language models are good pathologists: using attention-based sequence reduction and text-pretrained transformers for efficient WSI classification [0.21756081703275998]
  全体スライド画像(WSI)解析は通常、多重インスタンス学習(MIL)問題として定式化される。 textitSeqShortは、各WSIを固定サイズと短サイズのインスタンスのシーケンスで要約するシーケンス短縮レイヤである。 本稿では,大容量のテキストデータに対して,下流トランスフォーマーアーキテクチャの事前訓練を行った場合,WSI分類性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-11-14T14:11:31Z)
• Summarizing Patients Problems from Hospital Progress Notes Using Pre-trained Sequence-to-Sequence Models [9.879960506853145]
  問題リストの要約には、臨床文書を理解し、抽象化し、生成するモデルが必要である。 当科では,入院時に提供者の進捗記録からの入力を用いて,患者の日常診療計画における問題点のリストを作成することを目的とした,新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2022-08-17T17:07:35Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
  国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。 これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。 提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
  論文  参考訳（メタデータ） (2021-02-26T17:49:58Z)
• Collaborative Boundary-aware Context Encoding Networks for Error Map Prediction [65.44752447868626]
  本稿では,AEP-Net と呼ばれる協調的コンテキスト符号化ネットワークを提案する。 具体的には、画像とマスクのより優れた特徴融合のための協調的な特徴変換分岐と、エラー領域の正確な局所化を提案する。 AEP-Netはエラー予測タスクの平均DSCが0.8358,0.8164であり、ピアソン相関係数が0.9873である。
  論文  参考訳（メタデータ） (2020-06-25T12:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。