論文の概要: Sparse Autoencoder Decomposition of Clinical Sequence Model Representations: Feature Complexity, Task Specialisation, and Mortality Prediction

• arxiv url: http://arxiv.org/abs/2605.04072v1
• Date: Mon, 13 Apr 2026 12:08:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.567949
• Title: Sparse Autoencoder Decomposition of Clinical Sequence Model Representations: Feature Complexity, Task Specialisation, and Mortality Prediction
• Title（参考訳）: スパースオートエンコーダによる臨床シーケンスモデル表現の分解:特徴複雑性、タスクスペシャライゼーション、死亡予測
• Authors: Chris Sainsbury, Feng Dong, Andreas Karwath,
• Abstract要約: スパースオートエンコーダ(SAE)は、大きな言語モデルやタンパク質言語モデルに適用されているが、電子健康記録(EHR)基礎モデルには体系的に適用されていない。 InSPECT(外来)とMIMIC-IV(ICU)の残留ストリーム抽出点10点すべてにおいて、14.5万パラメータ自己回帰性臨床シーケンスモデルであるFlatASCEND上でTopK SAEを訓練する。 SAE分解は、トランスフォーマーの深さをまたいだプログレッシブな抽象化を明らかにする:層0の特徴は、ほぼ完全なトークン検出器(45.7%シングルトン)であり、層6の特徴は、複数の臨床カテゴリ(0.5%シングルトン)にまたがる約30のトークンタイプにまたがっている。
• 参考スコア（独自算出の注目度）: 1.7865154997539017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse autoencoders (SAEs) have been applied to large language models and protein language models, but not systematically to electronic health record (EHR) foundation models. We train TopK SAEs on FlatASCEND, a 14.5-million-parameter autoregressive clinical sequence model, at all 10 residual stream extraction points on INSPECT (outpatient) and MIMIC-IV (ICU). SAE decomposition reveals progressive abstraction across transformer depth: layer-0 features are near-perfect token detectors (45.7% singleton), while layer-6 features span approximately 30 token types across multiple clinical categories (0.5% singleton). Under full-sequence simple linear probes, SAE features outperform dense representations for discrete event prediction (mortality) while dense representations outperform for continuous magnitude prediction (length of stay) - a probe-level representational phenomenon that does not extend to clinically relevant leakage-safe windows, where dense representations match or exceed SAE features across all tested settings (eICU-CRD 48-hour AUC: SAE 0.871 versus dense 0.880; base model zero-shot, SAE dictionaries trained on eICU activations; MIMIC-IV: 0.836 versus 0.914; INSPECT 1-year/3-year: 0.697 versus 0.800). A delta-mode intervention method reduces SAE perturbation noise by 86x, enabling cleaner feature-level experiments, though the resulting perturbation effects are larger than random controls in 3 of 4 conditions but not formally significant. Feature reproducibility across random seeds is 21%, and individual features should be interpreted as illustrative rather than stable.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)は、大きな言語モデルやタンパク質言語モデルに適用されているが、電子健康記録(EHR)基礎モデルには体系的に適用されていない。 InSPECT(外来)およびMIMIC-IV(ICU)において,14.5万パラメータ自己回帰性臨床症状モデルであるFlatASCEND上でTopK SAEsをトレーニングした。 層0の特徴は、ほぼ完全なトークン検出器(45.7%シングルトン)であり、層6の特徴は、複数の臨床カテゴリ(0.5%シングルトン)にまたがる約30のトークンタイプにまたがっている。 完全系列の単純な線形プローブでは、SAEは離散事象予測(命題)の密度表現よりも優れており、連続的な大きさ予測(滞在期間)の密度表現は、臨床的に関係のあるリークセーフウィンドウに拡張されないプローブレベルの表現現象である(eICU-CRD 48時間AUC: SAE 0.871 vs 0.880; eICUアクティベーションに基づいて訓練されたベースモデルゼロショット、SAE辞書、MIMIC-IV: 0.836 vs 0.914; INSPECT 1-year/3-year: 0.697 vs 0.800)。 デルタモード干渉法は、SAE摂動ノイズを86倍に低減し、よりクリーンな特徴レベルの実験を可能にする。 ランダム種子間の特徴再現性は21%であり、個々の特徴は安定したものと解釈されるべきである。

関連論文リスト

• Automated Detection of Dosing Errors in Clinical Trial Narratives: A Multi-Modal Feature Engineering Approach with LightGBM [1.0152838128195467]
  本研究では,非構造的臨床試験におけるドスリングエラーの自動検出システムを提案する。 提案手法は,従来のNLP(TF-IDF,キャラクタn-gram),密接なセマンティック埋め込み,ドメイン固有の医療パターン,トランスフォーマーベースのスコアにまたがる3,451の特徴を組み合わせたものである。
  論文  参考訳（メタデータ） (2026-03-25T14:56:34Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• Detecting AI Hallucinations in Finance: An Information-Theoretic Method Cuts Hallucination Rate by 92% [4.693270291878929]
  大規模言語モデル(LLMs)は、流動的だがサポートされていない答え、幻覚を生み出す。 ECLIPSEは,モデルの意味エントロピーと利用可能な証拠の容量とのミスマッチとして幻覚を扱うフレームワークである。
  論文  参考訳（メタデータ） (2025-12-02T05:25:48Z)
• Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
  第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。 We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
  論文  参考訳（メタデータ） (2025-11-04T17:22:22Z)
• VesSAM: Efficient Multi-Prompting for Segmenting Complex Vessel [68.24765319399286]
  本稿では,2次元血管セグメンテーションに適した,強力で効率的なフレームワークであるVesSAMを提案する。 VesSAMは、(1)局所的なテクスチャ機能を強化する畳み込みアダプタ、(2)解剖学的プロンプトを融合するマルチプロンプトエンコーダ、(3)ジャグアーティファクトを減らす軽量マスクデコーダを統合する。 VesSAMは、最先端のPEFTベースのSAMを10%以上のDiceと13%のIoUで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-02T15:47:05Z)
• Click, Predict, Trust: Clinician-in-the-Loop AI Segmentation for Lung Cancer CT-Based Prognosis within the Knowledge-to-Action Framework [0.7340285482623061]
  肺がんは依然としてがん死亡の主な原因であり、CT像はスクリーニング、予後、治療の中心となっている。 ディープラーニング(DL)は自動化を提供するが、臨床導入の障壁に直面している。 本研究は, 診断精度, 臨床信頼度を高めるために, ループ内DLパイプラインを開発した。
  論文  参考訳（メタデータ） (2025-10-19T23:02:43Z)
• HANS-Net: Hyperbolic Convolution and Adaptive Temporal Attention for Accurate and Generalizable Liver and Tumor Segmentation in CT Imaging [2.7205074719266062]
  腹部CT像における肝・腫瘍の正確なセグメンテーションは確実な診断と治療計画に重要である。 ニューラル表現とシナプティック・プラスティック・ネットワーク(HANS-Net)を用いたハイパーボリック・コンボリューションの導入 HANS-Netは、階層的幾何表現のための双曲的畳み込み、マルチスケールテクスチャ学習のためのウェーブレットインスパイアされた分解モジュール、暗黙の神経表現分岐を組み合わせた。
  論文  参考訳（メタデータ） (2025-07-15T13:56:37Z)
• Segment-and-Classify: ROI-Guided Generalizable Contrast Phase Classification in CT Using XGBoost [7.689389068258514]
  本研究は,別機関の3つの公開CTデータセットを利用した。 位相予測モデルはWAW-TACEデータセットに基づいてトレーニングされ、VinDr-MultiphaseとC4KC-KiTSデータセット上で検証された。
  論文  参考訳（メタデータ） (2025-01-23T20:01:33Z)
• CRTRE: Causal Rule Generation with Target Trial Emulation Framework [47.2836994469923]
  ターゲットトライアルエミュレーションフレームワーク(CRTRE)を用いた因果ルール生成という新しい手法を提案する。 CRTREは、アソシエーションルールの因果効果を推定するためにランダム化トライアル設計原則を適用している。 次に、病気発症予測などの下流アプリケーションにそのような関連ルールを組み込む。
  論文  参考訳（メタデータ） (2024-11-10T02:40:06Z)
• Multilabel 12-Lead Electrocardiogram Classification Using Gradient Boosting Tree Ensemble [64.29529357862955]
  我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。 各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。 各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
  論文  参考訳（メタデータ） (2020-10-21T18:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。