論文の概要: In-Model Merging for Enhancing the Robustness of Medical Imaging Classification Models

• arxiv url: http://arxiv.org/abs/2502.20516v1
• Date: Thu, 27 Feb 2025 20:52:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:08.390439
• Title: In-Model Merging for Enhancing the Robustness of Medical Imaging Classification Models
• Title（参考訳）: 医用画像分類モデルのロバスト性向上のためのモデル内マージ
• Authors: Hu Wang, Ibrahim Almakky, Congbo Ma, Numan Saeed, Mohammad Yaqub,
• Abstract要約: In-model merging(InMerge)を提案する。 異なるCNNアーキテクチャに対する本手法の有効性と有効性を示す。 提案したInMerge学習モデルは、典型的に訓練されたモデルをかなりのマージンで上回る。
• 参考スコア（独自算出の注目度）: 5.871732354387235
• License:
• Abstract: Model merging is an effective strategy to merge multiple models for enhancing model performances, and more efficient than ensemble learning as it will not introduce extra computation into inference. However, limited research explores if the merging process can occur within one model and enhance the model's robustness, which is particularly critical in the medical image domain. In the paper, we are the first to propose in-model merging (InMerge), a novel approach that enhances the model's robustness by selectively merging similar convolutional kernels in the deep layers of a single convolutional neural network (CNN) during the training process for classification. We also analytically reveal important characteristics that affect how in-model merging should be performed, serving as an insightful reference for the community. We demonstrate the feasibility and effectiveness of this technique for different CNN architectures on 4 prevalent datasets. The proposed InMerge-trained model surpasses the typically-trained model by a substantial margin. The code will be made public.
• Abstract（参考訳）: モデルマージは、モデルパフォーマンスを向上させるために複数のモデルをマージする効果的な戦略であり、推論に余分な計算を導入しないため、アンサンブル学習よりも効率的である。 しかしながら、マージプロセスが1つのモデル内で発生し、特に医用画像領域において重要なモデルの堅牢性を高めることができるかどうかを限定的な研究が調査している。 本稿では,1つの畳み込みニューラルネットワーク(CNN)の深層に類似の畳み込みカーネルを選択的にマージすることで,モデルの堅牢性を高める新しい手法であるインモデルマージ(InMerge)を提案する。 また,モデル内マージの実施方法に影響を及ぼす重要な特徴を分析的に明らかにし,コミュニティの洞察に富む参考として機能する。 4つの一般的なデータセット上で異なるCNNアーキテクチャに対して,この手法の有効性と有効性を示す。 提案したInMerge学習モデルは、典型的に訓練されたモデルをかなりのマージンで上回る。 コードは公開されます。

関連論文リスト

• Training-free Heterogeneous Model Merging [40.681362819808136]
  異種モデル用に設計された革新的なモデルマージフレームワークを提案する。 構造的に不均一なモデルのマージは、均質なマージに匹敵する性能レベルを達成することができることを示す。 私たちのコードはhttps://github.com/zju-vipa/training_free_heterogeneous_model_mergingで公開されています。
  論文  参考訳（メタデータ） (2024-12-29T04:49:11Z)
• An Efficient Framework for Enhancing Discriminative Models via Diffusion Techniques [12.470257882838126]
  拡散に基づく識別モデル強化フレームワーク(DBMEF)を提案する。 このフレームワークは、差別的および生成的モデルをトレーニング不要な方法でシームレスに統合する。 DBMEFは、プラグアンドプレイ方式で識別モデルの分類精度と能力を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2024-12-12T08:46:22Z)
• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• HM3: Hierarchical Multi-Objective Model Merging for Pretrained Models [28.993221775758702]
  モデルマージ(英: Model merging)は、複数の大きな事前訓練されたモデルを単一のモデルに組み合わせ、パフォーマンスを向上し、タスク適応性を高める手法である。 本稿では,よりフレキシブルで包括的なモデルマージ技術への大きな進歩を示す。 我々は、重みベクトルのオフラインサンプリングを用いてポリシーと価値ネットワークを訓練し、マージ戦略のオンライン最適化に使用される。
  論文  参考訳（メタデータ） (2024-09-27T16:31:31Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Has Your Pretrained Model Improved? A Multi-head Posterior Based Approach [25.927323251675386]
  我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。 本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。 提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
  論文  参考訳（メタデータ） (2024-01-02T17:08:26Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。