Fugu-MT 論文翻訳(概要): Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression

論文の概要: Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression

arxiv url: http://arxiv.org/abs/2605.26513v1
Date: Tue, 26 May 2026 03:57:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-27 17:51:41.608403
Title: Re-M3Dr: Rebalanced MultiModal Mean Deviation Regression
Title（参考訳）: Re-M3Dr: マルチモーダル平均偏差回帰の再均衡
Authors: Haojie Yin, Chengcheng Feng, Tianyi Liu, Tianqi Zhang, Kaizhu Huang,
Abstract要約: この医療画像におけるマルチモーダル融合は, 単潮モデルより悪い結果が得られた。本稿では,新しいマルチモーダル回帰フレームワークであるRe-M3Dr(Re-M3Dr)を提案する。公立および民間の臨床データセットを用いた実験の結果,SOTAマルチモーダル学習法と比較して平均29%のMSE低下率を示した。
参考スコア（独自算出の注目度）: 37.362103534706385
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mean Deviation (MD) is a critical metric for assessing visual field loss in ophthalmology. While previous work has focused solely on predicting MD from Optical Coherence Tomography (OCT), it is intuitive to assume that combining OCT with another imaging of fundus photography (FP) could improve performance, as two ophthalmic medical imaging provide complementary information. This is particularly expected when sophisticated multi-objective optimization is applied, as documented in common multimodal classification. Surprisingly, our investigations reveal that multimodal fusion in this medical imaging scenario performs worse than unimodal model. Through detailed analysis, we identify the root cause as a coupled imbalance between data distribution and modality learning conflict. This imbalance distorts the optimization landscape, leading to unstable training. To address this challenge, we propose the method of Rebalanced MultiModal Mean Deviation Regression (Re-M3Dr), a novel multimodal regression framework. We enhance unimodal representation through adaptive margin based supervised contrastive learning. Then, our framework stabilizes the joint optimization with the sharpness-aware gradient modulation. Experimental results on both public and private clinical datasets show average 29\% reduction in MSE compared to SOTA multimodal learning methods, demonstrating the superiority of Re-M3Dr. The code is available in the supplementary materials.
Abstract（参考訳）: 平均偏差(MD)は眼科における視野障害を評価するための重要な指標である。従来はオプティカルコヒーレンス・トモグラフィ(OCT)によるMDの予測のみに重点を置いてきたが、眼科の医用画像が補完情報を提供するため、OCTと別の眼底撮影(FP)を併用することでパフォーマンスが向上すると仮定することは直感的である。これは、一般的なマルチモーダル分類において文書化されているように、洗練された多目的最適化が適用される場合に特に期待できる。驚くべきことに、この医療画像のシナリオにおけるマルチモーダル融合は、単調モデルよりも悪い結果が得られます。詳細な分析により,根本原因をデータ分布とモダリティ学習競合の相違点として同定する。この不均衡は最適化のランドスケープを歪め、不安定なトレーニングにつながります。この課題に対処するために,新しいマルチモーダル回帰フレームワークであるRe-M3Dr(Re-Modal Mean Deviation Regression)を提案する。適応マージンに基づく教師付きコントラスト学習により一助表現を向上する。そして,本フレームワークは,シャープネスを考慮した勾配変調による共同最適化を安定化する。公立および民間臨床データセットによる実験結果は,SOTAマルチモーダル学習法と比較して平均29倍のMSE低下を示し,Re-M3Drの優位性を示した。コードは補足資料で入手できる。

関連論文リスト

EI: Early Intervention for Multimodal Imaging based Disease Recognition [7.68204965964775]
単一画像埋め込み後の融合」は,マルチモーダルデータの相補的および相関的な情報を十分に活用できない。ラベル付きマルチモーダル医療画像の不足は、自然画像からのドメインシフトと相まって、医療画像の埋め込みに最先端のVision Foundation Modelsを使用することを妨げる。 1つのモダリティをターゲットとして、残りを参照として扱うことで、EIは、ターゲットモダリティの埋め込みプロセスを制御するために、参照からの高レベルなセマンティックトークンを介入トークンとして利用する。
論文参考訳（メタデータ） (2026-03-18T09:21:52Z)
MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文参考訳（メタデータ） (2025-10-24T02:11:05Z)
MM-DINOv2: Adapting Foundation Models for Multi-Modal Medical Image Analysis [19.063517827476826]
MM-DINOv2(MM-DINOv2)は,マルチモーダル・メディカル・イメージングのための事前学習型視覚基盤モデルDINOv2に適応する新しいフレームワークである。本手法では,マルチモーダル・パッチの埋め込みを取り入れ,視覚基盤モデルによりマルチモーダル・イメージングデータを効果的に処理することができる。本手法は外部テストセットで0.6のマシューズ相関係数(MCC)を達成し、最先端の教師付きアプローチを+11.1%超える。
論文参考訳（メタデータ） (2025-09-08T12:34:15Z)
M3Ret: Unleashing Zero-shot Multimodal Medical Image Retrieval via Self-Supervision [24.846428105192405]
我々は、モダリティ固有のカスタマイズなしで、統一されたビジュアルエンコーダであるM3Retを訓練する。生成的(MAE)およびコントラスト的(SimDINO)自己教師型学習(SSL)パラダイムを用いて、転送可能な表現をうまく学習する。提案手法は,DINOv3 やテキスト教師付き BMC-CLIP などの強力なベースラインを超越して,すべてのモダリティを横断するゼロショット画像画像検索において,新たな最先端技術を実現する。
論文参考訳（メタデータ） (2025-09-01T10:59:39Z)
On the Robustness of Medical Vision-Language Models: Are they Truly Generalizable? [0.9626666671366837]
我々は、複数の医療画像データセットに複数の摂動を適用した汚職ベンチマークであるMediMeta-Cを紹介する。本稿では,事前訓練されたMVLMの視覚的エンコーダ適応であるRobustMedCLIPを提案する。
論文参考訳（メタデータ） (2025-05-21T12:08:31Z)
Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
論文参考訳（メタデータ） (2024-03-19T09:28:19Z)
On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文参考訳（メタデータ） (2023-06-23T03:09:03Z)
LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文参考訳（メタデータ） (2023-06-20T22:21:34Z)
Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
論文参考訳（メタデータ） (2022-09-15T03:58:30Z)
Adaptive Contrast for Image Regression in Computer-Aided Disease Assessment [22.717658723840255]
深部画像回帰のための最初のコントラスト学習フレームワーク,すなわちAdaConを提案する。 AdaConは、新しいアダプティブマージンコントラスト損失と回帰予測ブランチによる特徴学習ブランチで構成されている。 AdaConの2つの医用画像回帰作業における効果を実証する。
論文参考訳（メタデータ） (2021-12-22T07:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。