論文の概要: CASHformer: Cognition Aware SHape Transformer for Longitudinal Analysis
- arxiv url: http://arxiv.org/abs/2207.02091v1
- Date: Tue, 5 Jul 2022 14:50:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 14:52:41.557015
- Title: CASHformer: Cognition Aware SHape Transformer for Longitudinal Analysis
- Title(参考訳): CASHformer: 縦解析用SHape Transformerを意識した認知
- Authors: Ignacio Sarasua, Sebastian P\"olsterl, Christian Wachinger
- Abstract要約: CASHformerはアルツハイマー病の縦方向の軌跡をモデル化するためのトランスフォーマーベースのフレームワークである。
元のモデルに関して、パラメータの数を90%以上削減します。
提案手法と比較すると,CASHformerは再建誤差を73%削減できることがわかった。
- 参考スコア(独自算出の注目度): 3.7814216736076434
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modeling temporal changes in subcortical structures is crucial for a better
understanding of the progression of Alzheimer's disease (AD). Given their
flexibility to adapt to heterogeneous sequence lengths, mesh-based transformer
architectures have been proposed in the past for predicting hippocampus
deformations across time. However, one of the main limitations of transformers
is the large amount of trainable parameters, which makes the application on
small datasets very challenging. In addition, current methods do not include
relevant non-image information that can help to identify AD-related patterns in
the progression. To this end, we introduce CASHformer, a transformer-based
framework to model longitudinal shape trajectories in AD. CASHformer
incorporates the idea of pre-trained transformers as universal compute engines
that generalize across a wide range of tasks by freezing most layers during
fine-tuning. This reduces the number of parameters by over 90% with respect to
the original model and therefore enables the application of large models on
small datasets without overfitting. In addition, CASHformer models cognitive
decline to reveal AD atrophy patterns in the temporal sequence. Our results
show that CASHformer reduces the reconstruction error by 73% compared to
previously proposed methods. Moreover, the accuracy of detecting patients
progressing to AD increases by 3% with imputing missing longitudinal shape
data.
- Abstract(参考訳): 皮質下構造の変化のモデル化は、アルツハイマー病(AD)の進行をよりよく理解するために重要である。
異種配列長に適応する柔軟性を考えると、メッシュベースのトランスフォーマーアーキテクチャは、過去の海馬変形を予測するために提案されている。
しかし、トランスフォーマーの主な制限の1つは、トレーニング可能なパラメータの多さである。
さらに、現在の方法には、進行中の広告関連パターンを特定するのに役立つ関連のある非画像情報が含まれない。
この目的のために,ADにおける縦方向形状の軌跡をモデル化するトランスフォーマーベースのフレームワークであるCASHformerを紹介する。
CASHformerは、事前学習されたトランスフォーマーを、微調整中にほとんどの層を凍結することで幅広いタスクを一般化する普遍的な計算エンジンとして取り入れている。
これにより、元のモデルに対するパラメータの数を90%以上削減し、大きめのモデルをオーバーフィッティングせずに小さなデータセットに適用することができる。
さらに、CASHformerは認知低下をモデル化し、時相配列のAD萎縮パターンを明らかにする。
提案手法と比較すると,CASHformerは再建誤差を73%削減できることがわかった。
また,adに進行する患者の検出精度は,縦型データの欠如に伴い3%向上した。
関連論文リスト
- DenseFormer: Enhancing Information Flow in Transformers via Depth
Weighted Averaging [37.84577212249692]
我々はDenseFormerを提案する。DenseFormerは、モデルのサイズを増大させることなく、モデルの難易度を向上する標準アーキテクチャの簡単な修正である。
提案手法は,現在および過去の表現の重み付き平均を計算する,各変圧器ブロックの後の加算平均ステップに依存する。
実験によると、DenseFormerはよりデータ効率が高く、より深いトランスフォーマーモデルと同じ難易度に達する。
論文 参考訳(メタデータ) (2024-02-04T21:44:09Z) - The Bigger the Better? Rethinking the Effective Model Scale in Long-term
Time Series Forecasting [57.00348861248051]
時系列予測は時系列分析において重要なフロンティアである。
階層的な分解で拡張された軽量トランスフォーマーであるHDformerを紹介する。
HDformerは既存のLTSFモデルよりも優れており、パラメータは99%以上少ない。
論文 参考訳(メタデータ) (2024-01-22T13:15:40Z) - DiffusionPCR: Diffusion Models for Robust Multi-Step Point Cloud
Registration [73.37538551605712]
ポイントクラウド登録(PCR)は、2つのポイントクラウド間の相対的な厳密な変換を推定する。
本稿では, PCR を拡散確率過程として定式化し, ノイズ変換を基礎的真理にマッピングする。
実験ではDiffusionPCRの有効性を示し,3Dおよび3DLoMatchに対する最先端の登録リコール率(95.3%/81.6%)を得た。
論文 参考訳(メタデータ) (2023-12-05T18:59:41Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of
Language Model [92.55145016562867]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳(メタデータ) (2023-05-24T15:52:08Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳(メタデータ) (2023-01-02T06:16:56Z) - Accurate and Robust Lesion RECIST Diameter Prediction and Segmentation
with Transformers [22.528235432455524]
本稿では, 病変RECIST径予測とセグメント化のためのトランスフォーマーネットワークを提案する。
病変のセグメンテーション、熱マップ予測、キーポイント回帰の3つの相関的および補的タスクとして定式化されている。
MeaFormerは大規模DeepLesionデータセット上でのRDPSの最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-08-28T01:43:21Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳(メタデータ) (2022-06-24T08:18:05Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳(メタデータ) (2021-11-10T07:07:54Z) - Disentangling Generative Factors of Physical Fields Using Variational
Autoencoders [0.0]
本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。
不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
論文 参考訳(メタデータ) (2021-09-15T16:02:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。