論文の概要: Efficiency in Focus: LayerNorm as a Catalyst for Fine-tuning Medical Visual Language Pre-trained Models

• arxiv url: http://arxiv.org/abs/2404.16385v1
• Date: Thu, 25 Apr 2024 07:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 14:38:43.541991
• Title: Efficiency in Focus: LayerNorm as a Catalyst for Fine-tuning Medical Visual Language Pre-trained Models
• Title（参考訳）: 焦点の効率性:微調整型医用ビジュアル言語事前学習モデルのための触媒としてのLayerNorm
• Authors: Jiawei Chen, Dingkang Yang, Yue Jiang, Mingcheng Li, Jinjie Wei, Xiaolu Hou, Lihua Zhang,
• Abstract要約: 微調整の内在的モデル成分は、しばしばより一般化と一貫性をもたらす。 本稿では,Med-VLMの微細調整層,FFN,アテンション層が与える影響について検討する。 この結果から,本質的な微調整法が下流作業に対する微調整型Med-VLMに与える影響について,特異な知見が得られた。
• 参考スコア（独自算出の注目度）: 16.590570116024157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of Medical Visual Language Models (Med-VLMs), the quest for universal efficient fine-tuning mechanisms remains paramount, especially given researchers in interdisciplinary fields are often extremely short of training resources, yet largely unexplored. Given the unique challenges in the medical domain, such as limited data scope and significant domain-specific requirements, evaluating and adapting Parameter-Efficient Fine-Tuning (PEFT) methods specifically for Med-VLMs is essential. Most of the current PEFT methods on Med-VLMs have yet to be comprehensively investigated but mainly focus on adding some components to the model's structure or input. However, fine-tuning intrinsic model components often yields better generality and consistency, and its impact on the ultimate performance of Med-VLMs has been widely overlooked and remains understudied. In this paper, we endeavour to explore an alternative to traditional PEFT methods, especially the impact of fine-tuning LayerNorm layers, FFNs and Attention layers on the Med-VLMs. Our comprehensive studies span both small-scale and large-scale Med-VLMs, evaluating their performance under various fine-tuning paradigms across tasks such as Medical Visual Question Answering and Medical Imaging Report Generation. The findings reveal unique insights into the effects of intrinsic parameter fine-tuning methods on fine-tuning Med-VLMs to downstream tasks and expose fine-tuning solely the LayerNorm layers not only surpasses the efficiency of traditional PEFT methods but also retains the model's accuracy and generalization capabilities across a spectrum of medical downstream tasks. The experiments show LayerNorm fine-tuning's superior adaptability and scalability, particularly in the context of large-scale Med-VLMs.
• Abstract（参考訳）: 医学的視覚言語モデル(Med-VLMs)の領域では、普遍的な効率的な微調整機構の探求が最重要である。 データ範囲の制限やドメイン固有の重要な要件など、医療分野におけるユニークな課題を考えると、Med-VLMに特化したパラメータ効率の良いファインチューニング(PEFT)手法の評価と適応が不可欠である。 Med-VLMの現在のPEFT法の多くは、まだ包括的に研究されていないが、主にモデルの構造や入力にいくつかのコンポーネントを追加することに焦点を当てている。 しかし、微調整の内在的モデル成分は、しばしばより一般性と一貫性が向上し、Med-VLMの最終的な性能への影響は広く見落とされ、未検討のままである。 本稿では,従来のPEFT法に代わる手法,特に微細調整されたLayerNorm層,FFN,Attention層がMed-VLMに与える影響について検討する。 包括的研究は小規模・大規模Med-VLMの両方にまたがっており,医療視覚質問応答や医用画像レポート生成などのタスクにまたがる様々な微調整パラダイムの下で,その性能を評価する。 その結果, 従来のPEFT手法の効率を超越するだけでなく, ダウンストリームタスクの領域にわたってモデルの精度と一般化能力を保ちながら, 下位タスクに対するMDD-VLMを微調整し, 層Norm層のみに微調整を施すことに固有のパラメータ細調整法が与える影響について, ユニークな知見が得られた。 この実験は、特に大規模Med-VLMの文脈において、LayerNormファインチューニングの優れた適応性とスケーラビリティを示す。

関連論文リスト

• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• LoRKD: Low-Rank Knowledge Decomposition for Medical Foundation Models [59.961172635689664]
  知識分解」は、特定の医療課題のパフォーマンス向上を目的としている。 我々はLow-Rank Knowledge Decomposition(LoRKD)という新しいフレームワークを提案する。 LoRKDは、低ランクのエキスパートモジュールと効率的な知識分離畳み込みを組み込むことで、グラデーションを異なるタスクから明確に分離する。
  論文  参考訳（メタデータ） (2024-09-29T03:56:21Z)
• Do Vision Foundation Models Enhance Domain Generalization in Medical Image Segmentation? [10.20366295974822]
  本稿では,2つの最先端デコーダヘッドであるHSAMとHQSAMの要素を統合し,セグメンテーション性能を向上させる新しいデコーダヘッドアーキテクチャであるHQHSAMを紹介する。 種々の解剖学やモダリティを含む複数のデータセットに対する実験により,FM,特にHQHSAMデコードヘッドを用いて,医用画像分割のための領域一般化が向上したことが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-12T11:41:35Z)
• Probing the Efficacy of Federated Parameter-Efficient Fine-Tuning of Vision Transformers for Medical Image Classification [16.070261684997362]
  様々な下流タスクのための微調整事前訓練モデルは、医療画像領域において重要な問題である。 これらのモデルの大規模なサイズは、フェデレート学習における通信負担を軽減するために、パラメータ効率のよい微調整(PEFT)を使用する必要がある。 本研究では,医用画像分類のためのビジョントランスフォーマー(ViT)モデルに適用するための各種PEFT戦略について検討する。
  論文  参考訳（メタデータ） (2024-07-16T10:28:50Z)
• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Can LLMs' Tuning Methods Work in Medical Multimodal Domain? [14.659849302397433]
  大言語モデル(LLM)は世界知識の理解に優れ、特定のサブフィールドに適応するには正確な調整が必要である。 LLM(Large Vision-Language Models)とLVLM(Large Vision-Language Models)の両方において,PEFT法が出現し,大きな成功を収めている。 転帰学習効率を高めるため,大規模モデルの微調整法を医療分野に移行することは可能か?
  論文  参考訳（メタデータ） (2024-03-11T03:38:48Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。 MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。 マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)
• Plug-and-Play Feature Generation for Few-Shot Medical Image Classification [23.969183389866686]
  限られた訓練データを用いた医用画像分類におけるモデル一般化と実用性の向上に大きな可能性を秘めている。 MedMFGは,限られたサンプルから十分なクラス識別機能を生成するために設計された,フレキシブルで軽量なプラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2023-10-14T02:36:14Z)
• Medulloblastoma Tumor Classification using Deep Transfer Learning with Multi-Scale EfficientNets [63.62764375279861]
  本稿では,エンド・ツー・エンドのMB腫瘍分類を提案し,様々な入力サイズとネットワーク次元の一致した移動学習を提案する。 161ケースのデータセットを用いて、より大規模な入力解像度を持つ事前学習されたEfficientNetが、大幅な性能改善をもたらすことを実証した。
  論文  参考訳（メタデータ） (2021-09-10T13:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。