Fugu-MT 論文翻訳(概要): Two-Stage Mixture-of-LoRA for Multi-Task Medical Vision-Language Learning

論文の概要: Two-Stage Mixture-of-LoRA for Multi-Task Medical Vision-Language Learning

arxiv url: http://arxiv.org/abs/2609.14350v1
Date: Sun, 13 Sep 2026 07:23:52 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:05.80055
Title: Two-Stage Mixture-of-LoRA for Multi-Task Medical Vision-Language Learning
Title（参考訳）: マルチタスク医用ビジョンランゲージ学習のための2段階LORA
Abstract要約: MedGemma-1.5-4B上に構築されたフレームワークである textbfTwo-Stage Mixture-of-LoRA を提案する。このフレームワークでは、1つの共有LoRAと6つのタスク固有の専門家LoRAで構成される、共有固有のMixture-of-LoRAアーキテクチャを使用している。提案手法は, 分類精度0.85, マルチラベル分類0.48マイクロF1, 検出F10.79, 回帰MAE17.39を実現する。
参考スコア（独自算出の注目度）: 11.067337708907017
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Medical vision-language models (VLMs) allow a single model to perform clinical image analysis tasks ranging from diagnosis classification to report generation. However, joint adaptation is challenged by heterogeneous output formats, conflicting task gradients, and imbalanced training data. Hence, we present \textbf{Two-Stage Mixture-of-LoRA}, a framework built on MedGemma-1.5-4B. The framework uses a shared-specific Mixture-of-LoRA architecture comprising one shared LoRA and six task-specific expert LoRAs, together with a two-stage training procedure. In Stage 1, we jointly train the shared LoRA and all task-specific expert LoRAs on all tasks. In Stage 2, we first freeze the backbone, the shared LoRA, and all non-target experts, and refine one task expert at a time. Classification and regression then receive an additional modality-balanced continuation, in which smaller modality groups are repeated to match the largest group. In the FLARE 2026 Task 3 test sets, the proposed method achieves 0.85 balanced accuracy for classification, 0.48 micro-F1 for multi-label classification, 0.79 detection F1, and 17.39 regression MAE. Code is available at https://github.com/YuanYL03/MICCAI-FLARE-2026-Challenge-Task3-2D.
Abstract（参考訳）: 医用視覚言語モデル(VLM)は、診断分類から報告生成までの臨床画像解析タスクを単一のモデルで行うことを可能にする。しかし、不均一な出力形式、相反するタスク勾配、不均衡なトレーニングデータにより、共同適応は困難である。したがって、MedGemma-1.5-4B 上に構築されたフレームワークである textbf{Two-Stage Mixture-of-LoRA} を提案する。このフレームワークは、共有されたLoRAと6つのタスク固有の専門家のLoRAからなる共有固有のMixture-of-LoRAアーキテクチャと、2段階のトレーニング手順を使用する。ステージ1では、共有されたLoRAとタスク固有のすべての専門家のLoRAを、すべてのタスクで共同でトレーニングします。ステージ2では、まずバックボーン、共有されたLoRA、およびすべての非ターゲットの専門家を凍結し、一度にひとつのタスクエキスパートを洗練します。分類と回帰は、より小さなモダリティ群が最大の群と一致するように繰り返される追加のモダリティバランス連続性を受ける。 FLARE 2026 タスク3 テストセットでは,マルチラベル分類のための 0.48 マイクロ F1 と 0.79 検出 F1 と 17.39 回帰 MAE のバランス精度が0.85 である。コードはhttps://github.com/YuanYL03/MICCAI-FLARE-2026-Challenge-Task3-2Dで入手できる。

関連論文リスト

CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging [2.9857131541387827]
医用視覚言語モデルの合成一般化(CG)を評価するベンチマークであるCrossMedを紹介する。 4つの公開データセットを統一的な視覚的質問応答(VQA)フォーマットに再構成し、20,200の複数選択QAインスタンスを生成する。関連する分割で訓練されたモデルは83.2%の分類精度と0.75のセグメンテーションcIoUを実現し、非関連条件とゼロオーバーラップ条件では性能が著しく低下する。
論文参考訳（メタデータ） (2025-11-14T07:41:01Z)
Tensorized Clustered LoRA Merging for Multi-Task Interference [29.488565631016332]
マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。 TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
論文参考訳（メタデータ） (2025-08-06T01:26:43Z)
AsymLoRA: Harmonizing Data Conflicts and Commonalities in MLLMs [5.018961516699825]
AsymLoRAは、知識のモジュール化と相互調整を統一するパラメータ効率のチューニングフレームワークである。 AsymLoRAは、共通点のみを捉えたバニラLoRAと、紛争のみに焦点を当てたLoRA-MoEの両方を一貫して上回っている。
論文参考訳（メタデータ） (2025-02-27T12:21:02Z)
Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.053604713064544]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks [73.09643674975591]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整手法である。異なるLoRAモジュールをマージして,スキルコンポジションを実現する方法について検討する。
論文参考訳（メタデータ） (2024-10-16T20:33:06Z)
LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits [73.26238057915583]
本稿では,マルチアームバンディット問題として報酬モデル選択を行うLASeRを提案する。 LASeRは反復トレーニングを促進し、3つのデータセットに対してLlama-3-8Bの平均精度を絶対的に向上することを示す。また、RAeRはRMスコアアンサンブルベースラインよりも72.69%のAlpacaEval勝利率を達成していることを示す。
論文参考訳（メタデータ） (2024-10-02T16:46:38Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)
LLaVA-MoLE: Sparse Mixture of LoRA Experts for Mitigating Data Conflicts in Instruction Finetuning MLLMs [29.96139552754377]
MLLMの命令微調整に有効なMixture of Experts(MoE)設計法を提案する。大規模な実験により、LLaVA-MoLEは複数の異なる命令データセットを混合する際のデータ競合問題を効果的に軽減することが証明された。 LLaVA-MoLEは2倍のサンプルで訓練された平らなLoRAベースラインよりも優れている。
論文参考訳（メタデータ） (2024-01-29T13:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。