論文の概要: Multimodal Training to Unimodal Deployment: Leveraging Unstructured Data During Training to Optimize Structured Data Only Deployment

• arxiv url: http://arxiv.org/abs/2603.22530v1
• Date: Mon, 23 Mar 2026 19:48:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.176112
• Title: Multimodal Training to Unimodal Deployment: Leveraging Unstructured Data During Training to Optimize Structured Data Only Deployment
• Title（参考訳）: ユニモーダルデプロイメントへのマルチモーダルトレーニング:構造化データのデプロイのみを最適化するためのトレーニング中に非構造化データを活用する
• Authors: Zigui Wang, Minghui Sun, Jiang Shu, Matthew M. Engelhard, Lauren Franz, Benjamin A. Goldstein,
• Abstract要約: モデルを作成しながらトレーニング中に非構造化EHRデータを活用するマルチモーダル学習フレームワークを導入する。 提案モデルではAUROC0.705に到達し,構造化ベースライン0.656を上回った。 これらの結果は、トレーニング中に非構造化データを組み込むことで、構造化EHRデータ内のタスク関連情報を識別するモデルの能力を高めることを示す。
• 参考スコア（独自算出の注目度）: 5.851286259413716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unstructured Electronic Health Record (EHR) data, such as clinical notes, contain clinical contextual observations that are not directly reflected in structured data fields. This additional information can substantially improve model learning. However, due to their unstructured nature, these data are often unavailable or impractical to use when deploying a model. We introduce a multimodal learning framework that leverages unstructured EHR data during training while producing a model that can be deployed using only structured EHR data. Using a cohort of 3,466 children evaluated for late talking, we generated note embeddings with BioClinicalBERT and encoded structured embeddings from demographics and medical codes. A note-based teacher model and a structured-only student model were jointly trained using contrastive learning and contrastive knowledge distillation loss, producing a strong classifier (AUROC = 0.985). Our proposed model reached an AUROC of 0.705, outperforming the structured-only baseline of 0.656. These results demonstrate that incorporating unstructured data during training enhances the model's capacity to identify task-relevant information within structured EHR data, enabling a deployable structured-only phenotype model.
• Abstract（参考訳）: 臨床ノートなどの非構造化電子健康記録(EHR)データには、構造化データフィールドに直接反映されない臨床的文脈の観察が含まれている。 この追加情報は、モデル学習を大幅に改善することができる。 しかし、その構造的でない性質のため、これらのデータは多くの場合、モデルをデプロイするときに利用できないか、実用的でない。 本研究では,非構造化EHRデータのみを用いてデプロイ可能なモデルを作成しながら,トレーニング中に非構造化EHRデータを活用するマルチモーダル学習フレームワークを提案する。 3,466人の子どものコホートを用いて,BioClinicalBERTを用いたノート埋め込みと,人口動態や医療コードからの構造化埋め込みを生成した。 ノートベースの教師モデルと構造化された学生モデルとを,コントラスト学習とコントラスト知識の蒸留損失を用いて共同訓練し,強力な分類器(AUROC = 0.985)を作成した。 提案モデルではAUROC0.705に到達し,構造化ベースライン0.656を上回った。 これらの結果は、トレーニング中に非構造化データを組み込むことで、構造化EHRデータ内のタスク関連情報を識別する能力が向上し、デプロイ可能な構造化専用表現型モデルが実現されることを示す。

関連論文リスト

• Innovative tokenisation of structured data for LLM training [0.0]
  本稿では,構造化されたデータを大規模言語モデル(LLM)の訓練に適したシーケンシャルな形式に変換する,新しいハイブリッドなトークン化手法を提案する。 提案手法は効率が高く, ネットワークフロー3300万回以上を5時間以内で処理し, 6.18:1の有意なデータ圧縮比を達成した。 このプロセスは10億以上のトークンを計算的に管理可能なコーパスとなり、構造化されたデータ上で基礎モデルをトレーニングするための実行可能で一般化可能な経路を確立した。
  論文  参考訳（メタデータ） (2025-08-03T09:29:50Z)
• AlphaFold Database Debiasing for Robust Inverse Folding [58.792020809180336]
  Debiasing Structure AutoEncoder (DeSAE)を導入し、故意に破損したバックボーンジオメトリからネイティブライクなコンフォーメーションを再構築することを学ぶ。 推測において、DeSAEをAFDB構造に適用すると、逆折り畳み性能を著しく向上する偏りのある構造が生成される。
  論文  参考訳（メタデータ） (2025-06-10T02:25:31Z)
• Representation Learning of Structured Data for Medical Foundation Models [29.10129199884847]
  我々はUniStructアーキテクチャを導入し、構造化されていないテキストと構造化データのマルチモーダル医療基盤モデルを設計する。 本手法は,広範囲な内部医療データベースと構造化医療記録の公開リポジトリのモデル事前学習を通じて検証される。
  論文  参考訳（メタデータ） (2024-10-17T09:02:28Z)
• Distributionally robust self-supervised learning for tabular data [4.172010719137041]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
  大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。 私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。 我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-26T15:47:01Z)
• DiSK: A Diffusion Model for Structured Knowledge [12.472921856815942]
  Diffusion Models of Structured Knowledge (DiSK) は構造化データに特化した新しいアーキテクチャとトレーニング手法である。 DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理する。
  論文  参考訳（メタデータ） (2023-12-08T18:59:14Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Learning to be a Statistician: Learned Estimator for Number of Distinct Values [54.629042119819744]
  列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。 本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。 教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
  論文  参考訳（メタデータ） (2022-02-06T15:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。