論文の概要: Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer
- arxiv url: http://arxiv.org/abs/2605.07407v1
- Date: Fri, 08 May 2026 08:03:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.909993
- Title: Emergent Symbolic Structure in Health Foundation Models: Extraction, Alignment, and Cross-Modal Transfer
- Title(参考訳): 医療財団モデルにおける創発的シンボル構造--抽出・アライメント・クロスモーダルトランスファー
- Authors: Gajendra Katuwal, Advait Koparkar, Salar Abbaspourazad, Anshuman Mishra, Sarvesh Kirthivasan,
- Abstract要約: ヘルスファウンデーションモデル(FM)はウェアラブルセンサーから有用な表現を学習するが、それをコード化し、トレーニング後にその知識を伝達することは難しいままである。
本稿では,凍結した埋め込みをシンボルと呼ばれる解釈可能な方向に分解するポストトレーニングフレームワークを提案し,これらのシンボルを用いて埋め込み空間を再トレーニングせずに整列させる。
本研究では, フォトプレシー (写真) と加速度計データ (加速度計データ) の3つのFMの枠組みを, 172K 被験者のラベルなしデータの20M 分で独立に事前訓練し, 30K 被験者のホールドアウトコホートを解析した。
- 参考スコア(独自算出の注目度): 0.7176906280023595
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Health foundation models (FMs) learn useful representations from wearable sensors, but interpreting what they encode and transferring that knowledge across modalities after training remains difficult. We present a post-training framework that decomposes frozen embeddings into interpretable directions, referred to as symbols, and use these symbols to align the embedding spaces without retraining. We evaluate the framework on three FMs for photoplethysmography (PPG) and accelerometer data, independently pretrained on ~20M minutes of unlabeled data from ~172K participants, and analyzed on a held-out cohort of 30K subjects. We find that extracted symbols associate selectively with health conditions and physiological attributes, and these associations are partially shared across modalities and architectures. Cross-modal transfer via symbols retains more than 95% of in-domain performance, is nearly symmetric across domain directions, and saturates with limited paired data, together indicating that alignment recovers a shared low-dimensional subspace rich in physiological information. Overall, these results suggest that health FM embeddings contain an interpretable symbolic organization that is shared across modalities and supports cross-domain transfer without joint training.
- Abstract(参考訳): ヘルスファウンデーションモデル(FM)はウェアラブルセンサーから有用な表現を学習するが、学習後にその知識をコード化し、モダリティを越えて伝達することは依然として困難である。
本稿では,凍結した埋め込みをシンボルと呼ばれる解釈可能な方向に分解するポストトレーニングフレームワークを提案し,これらのシンボルを用いて埋め込み空間を再トレーニングせずに整列させる。
光胸腺撮影(PPG)と加速度計データ(加速度計データ)の3つのFMの枠組みを,約172K被験者のラベルなしデータの約20万分で独立に事前訓練し,30K被験者のホールトアウトコホートで分析した。
抽出されたシンボルは、健康状態や生理的特性に選択的に関連し、これらの関連性は、モダリティやアーキテクチャで部分的に共有されている。
シンボルによるクロスモーダル転送は、ドメイン内のパフォーマンスの95%以上を保持し、ドメイン方向にほぼ対称であり、限られたペアデータで飽和し、アライメントが生理情報に富む共有低次元部分空間を回復することを示す。
これらの結果から,健康FMの埋め込みにはモダリティ間で共有される解釈可能なシンボリックな組織が含まれており,共同トレーニングなしでドメイン間移動をサポートすることが示唆された。
関連論文リスト
- Disentangled Anatomy-Disease Diffusion (DADD) for Controllable Ulcerative Colitis Progression Synthesis [4.554894288663752]
我々は,長期医療画像の制御可能な病期における合成の課題に対処する。
本誌のフレームワークDisentangled Anatomy Diffusionは、2つの相補的な埋め込みに潜時拡散モデルを適用している。
疾患関連チャネルを識別・抑制するクロスアテンションに基づく消去機構であるFeatureを導入する。
提案手法は,全重度レベルの高忠実度画像を生成し,スキュートクラス分布を効果的に再バランスさせる。
論文 参考訳(メタデータ) (2026-05-03T12:35:12Z) - Fake It Right: Injecting Anatomical Logic into Synthetic Supervised Pre-training for Medical Segmentation [21.75204301463342]
ビジョントランスフォーマー(ViT)は3次元の医療セグメンテーションで優れるが、大量のデータセットを必要とする。
Formula-Driven Supervised Learning (F)は、合成数学的プリミティブを事前学習することで、プライバシ保護の代替手段を提供する。
本稿では,Fの無限拡張性と解剖学的リアリズムを一体化するための注釈付きインフォームド・シンセティック・アナトロジー・プレトレーニング・フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-01T08:15:18Z) - Adapting HFMCA to Graph Data: Self-Supervised Learning for Generalizable fMRI Representations [57.054499278843856]
機能的磁気共鳴画像(fMRI)解析は、データセットのサイズが限られ、研究間でのドメインの変動が原因で大きな課題に直面している。
コンピュータビジョンにインスパイアされた従来の自己教師付き学習手法は、正と負のサンプルペアに依存することが多い。
本稿では,最近開発された階層関数最大相関アルゴリズム(HFMCA)をグラフ構造fMRIデータに適用することを提案する。
論文 参考訳(メタデータ) (2025-10-05T12:35:01Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳(メタデータ) (2025-09-30T08:59:06Z) - MedSpaformer: a Transferable Transformer with Multi-granularity Token Sparsification for Medical Time Series Classification [25.47662257105448]
MedTS分類に適したトランスフォーマーベースのフレームワークであるMedSpaformerを紹介する。
グローバルなコンテキストモデリングとトークンスペーシングを可能にする、スパーストークンベースのデュアルアテンション機構が組み込まれている。
我々のモデルは、教師あり学習下で7つの医療データセットで13のベースラインを上回ります。
論文 参考訳(メタデータ) (2025-03-19T13:22:42Z) - Synthetic Data for Robust Stroke Segmentation [0.0]
ニューロイメージングにおける病変のセグメンテーションに対する現在のディープラーニングベースのアプローチは、高解像度の画像と広範囲な注釈付きデータに依存することが多い。
本稿では,脳卒中病変のセグメンテーションに適した新しい合成データフレームワークを提案する。
我々のアプローチは、正常組織と病理組織の両方にまたがるセグメンテーションを促進するために、健康なデータセットと脳卒中データセットからラベルマップでモデルを訓練する。
論文 参考訳(メタデータ) (2024-04-02T13:42:29Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳(メタデータ) (2023-10-03T05:40:56Z) - Class Attention to Regions of Lesion for Imbalanced Medical Image
Recognition [59.28732531600606]
データ不均衡問題に対処するため,textbfClass textbfAttention to textbfRegions of the lesion (CARE)を提案する。
CAREフレームワークは、まれな疾患の病変領域を表すために、バウンディングボックスを必要とする。
その結果,自動バウンディングボックス生成によるCARE変種は,オリジナルのCAREフレームワークに匹敵することがわかった。
論文 参考訳(メタデータ) (2023-07-19T15:19:02Z) - Information Symmetry Matters: A Modal-Alternating Propagation Network
for Few-Shot Learning [118.45388912229494]
未ラベルサンプルの欠落した意味情報を補うために,モーダル代替伝搬ネットワーク (MAP-Net) を提案する。
我々は,情報伝達がより有益になるように,セマンティクスを介して視覚的関係ベクトルを誘導するリレーガイダンス(RG)戦略を設計する。
提案手法は有望な性能を達成し,最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2021-09-03T03:43:53Z) - A Teacher-Student Framework for Semi-supervised Medical Image
Segmentation From Mixed Supervision [62.4773770041279]
そこで我々は,臓器と病変のセグメンテーションのための教師と学生のスタイルに基づくセミ教師付き学習フレームワークを開発した。
我々は,本モデルがバウンディングボックスの品質に対して堅牢であることを示し,フル教師付き学習手法と比較した性能を実現する。
論文 参考訳(メタデータ) (2020-10-23T07:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。