論文の概要: Visual-Attribute Prompt Learning for Progressive Mild Cognitive Impairment Prediction

• arxiv url: http://arxiv.org/abs/2310.14158v1
• Date: Sun, 22 Oct 2023 02:49:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 01:32:16.343927
• Title: Visual-Attribute Prompt Learning for Progressive Mild Cognitive Impairment Prediction
• Title（参考訳）: 進行型軽度認知障害予測のための視覚属性プロンプト学習
• Authors: Luoyao Kang and Haifan Gong and Xiang Wan and Haofeng Li
• Abstract要約: 本稿では,マルチモーダルな特徴を高速な微調整で抽出・融合するトランスフォーマーネットワークを提案する。 詳しくは、まずAD診断タスクのプロンプトなしでVAP-Formerを事前訓練し、pMCI検出タスクのモデルをPTで微調整する。 次に、視覚的プロンプトのための新しいグローバルプロンプトトークンを提案し、マルチモーダル表現に対するグローバルガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 27.261602207491244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning (DL) has been used in the automatic diagnosis of Mild Cognitive Impairment (MCI) and Alzheimer's Disease (AD) with brain imaging data. However, previous methods have not fully exploited the relation between brain image and clinical information that is widely adopted by experts in practice. To exploit the heterogeneous features from imaging and tabular data simultaneously, we propose the Visual-Attribute Prompt Learning-based Transformer (VAP-Former), a transformer-based network that efficiently extracts and fuses the multi-modal features with prompt fine-tuning. Furthermore, we propose a Prompt fine-Tuning (PT) scheme to transfer the knowledge from AD prediction task for progressive MCI (pMCI) diagnosis. In details, we first pre-train the VAP-Former without prompts on the AD diagnosis task and then fine-tune the model on the pMCI detection task with PT, which only needs to optimize a small amount of parameters while keeping the backbone frozen. Next, we propose a novel global prompt token for the visual prompts to provide global guidance to the multi-modal representations. Extensive experiments not only show the superiority of our method compared with the state-of-the-art methods in pMCI prediction but also demonstrate that the global prompt can make the prompt learning process more effective and stable. Interestingly, the proposed prompt learning model even outperforms the fully fine-tuning baseline on transferring the knowledge from AD to pMCI.
• Abstract（参考訳）: 深層学習(DL)は、脳画像データを用いた軽度認知障害(MCI)とアルツハイマー病(AD)の自動診断に用いられている。 しかし、従来の方法では、専門家が広く採用している脳画像と臨床情報との関係を十分に活用していない。 画像と表データからの異質な特徴を同時に活用するために,多モード特徴を高速に微調整して効率的に抽出・融合するトランスフォーマーであるvap(visual-attribute prompt learning-based transformer)を提案する。 さらに, プログレッシブMCI (pMCI) 診断のためのAD予測タスクから知識を伝達する, Prompt Fine-Tuning (PT) 方式を提案する。 詳しくは、まずvap-formerを広告診断タスクをプロンプトすることなく事前トレーニングし、その後、バックボーンを凍結しながら少量のパラメータのみを最適化するpmci検出タスクのモデルをptで微調整する。 次に,視覚プロンプトのための新しいグローバルプロンプトトークンを提案し,マルチモーダル表現へのグローバルガイダンスを提供する。 pMCI予測の最先端手法と比較して,本手法の優位性を示すとともに,グローバルなプロンプトが学習過程をより効果的かつ安定したものにすることを示す。 興味深いことに、提案したプロンプト学習モデルは、ADからpMCIへの知識伝達において、完全な微調整ベースラインよりも優れている。

関連論文リスト

• Adversarial Prompt Distillation for Vision-Language Models [25.07001647341082]
  大規模な訓練済みビジョンランゲージモデル(VLM)は、敵の攻撃を受けやすいことが示されている。 事前訓練VLMの堅牢性向上のための有望なアプローチは、Adversarial Prompt Tuning (APT) である。 本稿では,APTと知識蒸留を併用し,CLIPの対向ロバスト性を高める,APD (Adversarial Prompt Distillation) という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-22T03:02:13Z)
• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Diffusion Model as Representation Learner [86.09969334071478]
  Diffusion Probabilistic Models (DPMs) は、最近、様々な生成タスクにおいて顕著な結果を示した。 本稿では,DPMが獲得した知識を認識タスクに活用する新しい知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T00:38:39Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Federated Cycling (FedCy): Semi-supervised Federated Learning of Surgical Phases [57.90226879210227]
  FedCyは、FLと自己教師付き学習を組み合わせた半教師付き学習(FSSL)手法で、ラベル付きビデオとラベルなしビデオの両方の分散データセットを利用する。 外科的段階の自動認識作業において,最先端のFSSL法よりも顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2022-03-14T17:44:53Z)
• About Explicit Variance Minimization: Training Neural Networks for Medical Imaging With Limited Data Annotations [2.3204178451683264]
  VAT(Variance Aware Training)法は、モデル損失関数に分散誤差を導入することにより、この特性を利用する。 多様な領域から得られた3つの医用画像データセットと様々な学習目標に対するVATの有効性を検証した。
  論文  参考訳（メタデータ） (2021-05-28T21:34:04Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation [57.78765460295249]
  医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。 本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。 提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
  論文  参考訳（メタデータ） (2020-02-22T14:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。