論文の概要: GAMF-Net: Grouped Availability-Aware Multimodal Fusion for Smartphone Skin Lesion Classification

• arxiv url: http://arxiv.org/abs/2610.28129v1
• Date: Tue, 20 Oct 2026 12:35:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.817885
• Title: GAMF-Net: Grouped Availability-Aware Multimodal Fusion for Smartphone Skin Lesion Classification
• Title（参考訳）: GAMF-Net:スマートフォン皮膚病変分類のためのグループ型アベイラビリティー対応マルチモーダルフュージョン
• Abstract要約: グループ化されたアベイラビリティ対応マルチモーダル核融合ネットワークであるGAMF-Netを提案する。 10の臨床的変数は3つの意味群に分けられる。 各グループはフィールド値とフィールドレベルのアベイラビリティマスクをエンコードする。
• 参考スコア（独自算出の注目度）: 7.589507985832776
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smartphone clinical images provide a low-cost data source for computer-aided skin lesion classification in resource-constrained settings, but images alone cannot fully capture patients' medical histories and lesion symptoms. To address the lack of structured organization among heterogeneous clinical variables, the ambiguity between observed and imputed values, and the risk that clinical information may interfere with visual evidence, we propose GAMF-Net, a grouped availability-aware multimodal fusion network. Ten clinical variables are divided into three semantic groups---demographics, history-related risk, and lesion presentation---and each group jointly encodes field values and field-level availability masks. The image branch produces the base classification logits, while each clinical group generates image-conditioned class-level residual evidence. Only available groups participate in availability-normalized equal-weight fusion; when all clinical information is unavailable, the model reduces exactly to the image-only pathway. We evaluate the method on PAD-UFES-20 under a patient-disjoint five-fold protocol with separate training, validation, and test partitions. GAMF-Net achieves an Accuracy of $74.17\pm2.85\%$, a balanced accuracy (BACC) of $70.11\pm2.11\%$, a Macro-F1 of $68.85\pm0.85\%$, and a Macro-AUROC of $93.42\pm1.20\%$, outperforming all image-only and multimodal baselines reimplemented under a unified protocol. Compared with the strongest baseline, MetaBlock, the corresponding improvements are 2.37, 2.59, 4.14, and 1.02 percentage points, respectively. Ablation results show that clinical information substantially improves class-balanced performance, constrained equal-weight fusion is more effective than dynamic fusion, and the lesion-presentation group provides the most informative clinical complement.
• Abstract（参考訳）: スマートフォンの臨床画像は、リソース制限された環境でのコンピュータ支援皮膚病変分類のための低コストのデータソースを提供するが、画像だけでは患者の医療履歴や病変の症状を完全に把握することはできない。 不均一な臨床変数間の構造的組織欠如、観察値とインプット値のあいまいさ、および臨床情報が視覚的証拠に干渉するリスクに対処するため、GAMF-Netを提案する。 10の臨床的変数を3つの意味群(デコグラフィー、履歴関連リスク、病変の提示)に分け、それぞれがフィールド値とフィールドレベルのアベイラビリティーマスクを共同でエンコードする。 画像ブランチは、基本分類ログを生成し、各臨床グループは、画像条件のクラスレベルの残留証拠を生成する。 利用可能なグループのみが可用性正規化等重量核融合に参加し、すべての臨床情報が入手できない場合、モデルは画像のみの経路に正確に還元される。 PAD-UFES-20では, 個別のトレーニング, 検証, テスト分割を行った。 GAMF-Netは74.17\pm2.85\%$、バランスの取れた精度(BACC)が70.11\pm2.11\%$、Macro-F1が68.85\pm0.85\%$、Macro-AUROCが9,3.42\pm1.20\%$を達成し、画像のみのベースラインとマルチモーダルベースラインが統一されたプロトコルで再実装されている。 最強のベースラインであるMetaBlockと比較して、対応する改善点はそれぞれ2.37点、2.59点、4.14点、1.02点である。 アブレーションの結果,臨床情報はクラスバランス性能を著しく改善し,ダイナミックフュージョンよりも拘束された等重量核融合の方が有効であり,病変提示群が最も有意な臨床補完を提供することが示された。

関連論文リスト

• ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding [67.57715989349471]
  MLLM(Multimodal large language model)は、臨床実践に革命をもたらす大きな可能性を秘めている。 我々は、総合的な医学的理解のために設計された視覚中心のMLLMであるClinFusionを紹介する。 ClinFusionは、総合的な2Dおよび3Dマルチモーダル・メディカル・ベンチマーク・スイートにまたがって、最先端の新たな状態を設定する。
  論文  参考訳（メタデータ） (2026-07-27T17:59:49Z)
• JI-ADF: Joint-Individual Learning with Adaptive Decision Fusion for Multimodal Skin Lesion Classification [1.57333503756856]
  皮膚病変の分類は早期皮膚科診断に不可欠である。 既存のコンピュータ支援システムの多くは、主に皮膚鏡画像に頼り、マルチモーダルな証拠を過小評価している。 皮膚内視鏡画像,臨床写真,構造化された患者のメタデータを統合した3モーダル深層学習フレームワークである textbfJI-ADF を提案する。
  論文  参考訳（メタデータ） (2026-04-30T02:48:15Z)
• Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
  MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。 MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。 さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。 MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-27T02:41:27Z)
• Beyond CLIP: Knowledge-Enhanced Multimodal Transformers for Cross-Modal Alignment in Diabetic Retinopathy Diagnosis [7.945705180020063]
  本稿では,網膜基底像,臨床テキスト,構造化された患者データを統合する知識強化型関節埋め込みフレームワークを提案する。 このフレームワークはRecall@1の99.94%でほぼ完璧なテキスト・ツー・イメージ検索性能を実現している。
  論文  参考訳（メタデータ） (2025-12-22T18:41:45Z)
• A Fully Transformer Based Multimodal Framework for Explainable Cancer Image Segmentation Using Radiology Reports [2.629902609930227]
  Med-CTX(Med-CTX)を導入した。 我々は,臨床放射線学報告を統合して,パフォーマンスと解釈可能性の両立を図った。 BUS-BRAデータセットでは、Diceスコアが99%、IoUが95%に達し、既存のベースラインであるU-Net、ViT、Swinを上回っている。
  論文  参考訳（メタデータ） (2025-08-19T12:55:10Z)
• Graph-Ensemble Learning Model for Multi-label Skin Lesion Classification using Dermoscopy and Clinical Images [7.159532626507458]
  本研究では,グラフ畳み込みネットワーク(GCN)を導入し,相関行列として各カテゴリ間の先行的共起を多ラベル分類のためのディープラーニングモデルに活用する。 本稿では,GCNからの予測を融合モデルからの予測の補完情報とみなすグラフ・アンサンブル学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-04T13:19:57Z)
• Dynamic Bank Learning for Semi-supervised Federated Image Diagnosis with Class Imbalance [65.61909544178603]
  クラス不均衡半教師付きFL(imFed-Semi)の実用的かつ困難な問題について検討する。 このImFed-Semi問題は、クラス比例情報を利用してクライアントトレーニングを改善する新しい動的銀行学習方式によって解決される。 25,000個のCTスライスによる頭蓋内出血診断と10,015個の皮膚内視鏡画像による皮膚病変診断の2つの公開実世界の医療データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-06-27T06:51:48Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。