論文の概要: CASHformer: Cognition Aware SHape Transformer for Longitudinal Analysis
- arxiv url: http://arxiv.org/abs/2207.02091v1
- Date: Tue, 5 Jul 2022 14:50:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-06 14:52:41.557015
- Title: CASHformer: Cognition Aware SHape Transformer for Longitudinal Analysis
- Title（参考訳）: CASHformer: 縦解析用SHape Transformerを意識した認知
- Authors: Ignacio Sarasua, Sebastian P\"olsterl, Christian Wachinger
- Abstract要約: CASHformerはアルツハイマー病の縦方向の軌跡をモデル化するためのトランスフォーマーベースのフレームワークである。
元のモデルに関して、パラメータの数を90%以上削減します。
提案手法と比較すると,CASHformerは再建誤差を73%削減できることがわかった。
- 参考スコア（独自算出の注目度）: 3.7814216736076434
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Modeling temporal changes in subcortical structures is crucial for a better
understanding of the progression of Alzheimer's disease (AD). Given their
flexibility to adapt to heterogeneous sequence lengths, mesh-based transformer
architectures have been proposed in the past for predicting hippocampus
deformations across time. However, one of the main limitations of transformers
is the large amount of trainable parameters, which makes the application on
small datasets very challenging. In addition, current methods do not include
relevant non-image information that can help to identify AD-related patterns in
the progression. To this end, we introduce CASHformer, a transformer-based
framework to model longitudinal shape trajectories in AD. CASHformer
incorporates the idea of pre-trained transformers as universal compute engines
that generalize across a wide range of tasks by freezing most layers during
fine-tuning. This reduces the number of parameters by over 90% with respect to
the original model and therefore enables the application of large models on
small datasets without overfitting. In addition, CASHformer models cognitive
decline to reveal AD atrophy patterns in the temporal sequence. Our results
show that CASHformer reduces the reconstruction error by 73% compared to
previously proposed methods. Moreover, the accuracy of detecting patients
progressing to AD increases by 3% with imputing missing longitudinal shape
data.
- Abstract（参考訳）: 皮質下構造の変化のモデル化は、アルツハイマー病(AD)の進行をよりよく理解するために重要である。
異種配列長に適応する柔軟性を考えると、メッシュベースのトランスフォーマーアーキテクチャは、過去の海馬変形を予測するために提案されている。
しかし、トランスフォーマーの主な制限の1つは、トレーニング可能なパラメータの多さである。
さらに、現在の方法には、進行中の広告関連パターンを特定するのに役立つ関連のある非画像情報が含まれない。
この目的のために,ADにおける縦方向形状の軌跡をモデル化するトランスフォーマーベースのフレームワークであるCASHformerを紹介する。
CASHformerは、事前学習されたトランスフォーマーを、微調整中にほとんどの層を凍結することで幅広いタスクを一般化する普遍的な計算エンジンとして取り入れている。
これにより、元のモデルに対するパラメータの数を90%以上削減し、大きめのモデルをオーバーフィッティングせずに小さなデータセットに適用することができる。
さらに、CASHformerは認知低下をモデル化し、時相配列のAD萎縮パターンを明らかにする。
提案手法と比較すると,CASHformerは再建誤差を73%削減できることがわかった。
また,adに進行する患者の検出精度は,縦型データの欠如に伴い3%向上した。
関連論文リスト
- Low-Rank Continual Pyramid Vision Transformer: Incrementally Segment Whole-Body Organs in CT with Light-Weighted Adaptation [10.746776960260297]
軽量低ランク適応 (LoRA) を用いた新しい連続体器官分割モデルを提案する。
まず、最初のタスクでピラミッドビジョントランスフォーマー(PVT)ベースセグメンテーションモデルをトレーニングし、その後、新しい学習タスク毎に凍結モデルに軽量でトレーニング可能なLoRAパラメータを継続的に追加する。
提案モデルでは, 破滅的忘れを伴わず, 低パラメータ増加率を維持しながら, 新しい臓器を連続的に分割する。
論文 参考訳（メタデータ） (2024-10-07T02:00:13Z) - Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Few-Shot Class Incremental Learning via Robust Transformer Approach [16.590193619691416]
Few-Shot Class-Incremental Learningは,データ不足の問題にモデルが直面しているクラス増分学習問題の拡張を提示する。
この問題は、最近のすべての研究が、準最適に実行される畳み込みニューラルネットワークの上に構築されているため、未解決の問題のままである。
本稿では,コンパクト畳み込み変換器を用いたロバスト変換器を提案する。
論文 参考訳（メタデータ） (2024-05-08T03:35:52Z) - HAFFormer: A Hierarchical Attention-Free Framework for Alzheimer's Disease Detection From Spontaneous Speech [42.688549469089985]
我々は,アルツハイマー病検出のための長期スピーチをよりよく扱うために,階層型注意・自由変換器(HAFFormer)という新しい枠組みを構築した。
具体的には,マルチスケールデプスワイズ・コンボリューション(Multi-Scale Depthwise Convolution)のアテンションフリーモジュールを用いて,自己アテンションを置き換え,コストのかかる計算を回避する。
ADReSS-Mデータセットに関する広範な実験を行うことで、紹介されたHAFFormerは他の最近の研究と競合する結果(82.6%の精度)を達成できる。
論文 参考訳（メタデータ） (2024-05-07T02:19:16Z) - DiffusionPCR: Diffusion Models for Robust Multi-Step Point Cloud
Registration [73.37538551605712]
ポイントクラウド登録(PCR)は、2つのポイントクラウド間の相対的な厳密な変換を推定する。
本稿では, PCR を拡散確率過程として定式化し, ノイズ変換を基礎的真理にマッピングする。
実験ではDiffusionPCRの有効性を示し,3Dおよび3DLoMatchに対する最先端の登録リコール率(95.3%/81.6%)を得た。
論文 参考訳（メタデータ） (2023-12-05T18:59:41Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。
我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-05-24T15:52:08Z) - Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。
合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
論文 参考訳（メタデータ） (2023-01-02T06:16:56Z) - Disentangling Generative Factors of Physical Fields Using Variational
Autoencoders [0.0]
本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。
不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
論文 参考訳（メタデータ） (2021-09-15T16:02:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。