論文の概要: BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning

• arxiv url: http://arxiv.org/abs/2603.03920v2
• Date: Wed, 11 Mar 2026 05:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-12 14:12:43.972763
• Title: BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning
• Title（参考訳）: BD-Merging:Evidence-Guided Contrastive Learningによるバイアスを考慮した動的モデル統合
• Authors: Yuhan Xie, Chen Lyu,
• Abstract要約: マルチタスク学習(MTL)のためのスケーラブルなパラダイムとしてモデルマージング(MM)が登場している。 近年の進歩にもかかわらず、テスト時間分布シフト時のMMの信頼性は十分に理解されていない。 本稿では,BD-Mergingについて述べる。BD-Mergingはバイアスを考慮した教師なしモデルマージフレームワークで,不確実性を明示的にモデル化し,分散シフト下で適応的な信頼性を実現する。
• 参考スコア（独自算出の注目度）: 2.8115115690134744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model Merging (MM) has emerged as a scalable paradigm for multi-task learning (MTL), enabling multiple task-specific models to be integrated without revisiting the original training data. Despite recent progress, the reliability of MM under test-time distribution shift remains insufficiently understood. Most existing MM methods typically assume that test data are clean and distributionally aligned with both the training and auxiliary sources. However, this assumption rarely holds in practice, often resulting in biased predictions with degraded generalization. To address this issue, we present BD-Merging, a bias-aware unsupervised model merging framework that explicitly models uncertainty to achieve adaptive reliability under distribution shift. First, BD-Merging introduces a joint evidential head that learns uncertainty over a unified label space, capturing cross-task semantic dependencies in MM. Second, building upon this evidential foundation, we propose an Adjacency Discrepancy Score (ADS) that quantifies evidential alignment among neighboring samples. Third, guided by ADS, a discrepancy-aware contrastive learning mechanism refines the merged representation by aligning consistent samples and separating conflicting ones. Combined with general unsupervised learning, this process trains a debiased router that adaptively allocates task-specific or layer-specific weights on a per-sample basis, effectively mitigating the adverse effects of distribution shift. Extensive experiments across diverse tasks demonstrate that BD-Merging achieves superior effectiveness and robustness compared to state-of-the-art MM baselines.
• Abstract（参考訳）: モデルマージング(MM)は、マルチタスク学習(MTL)のためのスケーラブルなパラダイムとして登場し、元のトレーニングデータを再考することなく、複数のタスク固有のモデルを統合することができる。 近年の進歩にもかかわらず、テスト時間分布シフト時のMMの信頼性は十分に理解されていない。 既存のMM手法の多くは、テストデータはトレーニングと補助ソースの両方とクリーンで分散的に一致していると仮定する。 しかし、この仮定は実際にはほとんど成立せず、しばしば劣化した一般化を伴うバイアス付き予測をもたらす。 この問題に対処するため,BD-Mergingはバイアスを考慮した教師なしモデルマージフレームワークで,不確実性を明示的にモデル化し,分散シフト下で適応的信頼性を実現する。 まず、BD-Mergingは、統一ラベル空間上で不確実性を学び、MMにおけるクロスタスクのセマンティック依存関係をキャプチャする、共同明細ヘッドを導入する。 第2に, この明らかな基盤を基盤として, 隣接サンプル間のアライメントを定量化するアジャカシー離散スコア(Adjacency Discrepancy Score, ADS)を提案する。 第3に、ADSによって導かれ、一致したサンプルを整列させ、矛盾するサンプルを分離することで、離散性を考慮したコントラスト学習機構が統合表現を洗練させる。 一般的な教師なし学習と組み合わせて、このプロセスは、タスク固有のまたは層固有の重みをサンプルごとに適応的に割り当て、分散シフトの悪影響を効果的に軽減するバイアス付きルータを訓練する。 BD-Mergingが最先端のMMベースラインよりも優れた有効性と堅牢性を実現することを示す。

関連論文リスト

• M-Loss: Quantifying Model Merging Compatibility with Limited Unlabeled Data [9.502531621979694]
  本稿では,新しい評価指標であるMerging-ensembling loss (M-Loss)を紹介する。 M-Lossは、非常に限られたラベルのないデータを用いて、マージソースモデルの互換性を定量化する。 理論解析と実験により,M-Lossをマージプロセスに組み込むことで,マージモデルとモデルアンサンブルのアライメントが大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-02-09T12:03:36Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Dual-level Modality Debiasing Learning for Unsupervised Visible-Infrared Person Re-Identification [59.59359638389348]
  本稿では,モデルと最適化の両レベルでのデバイアス処理を実装したデュアルレベルのモダリティ・デバイアス学習フレームワークを提案する。 ベンチマークデータセットの実験では、DMDLはモダリティ不変の特徴学習とより一般化されたモデルを可能にすることを示した。
  論文  参考訳（メタデータ） (2025-12-03T12:43:16Z)
• Learning Robust Diffusion Models from Imprecise Supervision [75.53546939251146]
  DMISは、Imrecise Supervisionから堅牢な条件拡散モデルをトレーニングするための統一されたフレームワークである。 我々のフレームワークは、可能性から派生し、その目的を生成的および分類的構成要素に分解する。 画像生成、弱教師付き学習、データセットの凝縮をカバーし、様々な形の不正確な監視実験を行い、DMISが常に高品質でクラス差別的なサンプルを生成することを示した。
  論文  参考訳（メタデータ） (2025-10-03T14:00:32Z)
• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Uncertain Facial Expression Recognition via Multi-task Assisted Correction [43.02119884581332]
  MTACと呼ばれる不確実な表情認識に対処するためのマルチタスク支援補正法を提案する。 具体的には、信頼度推定ブロックと重み付け正則化モジュールを用いて、固体試料をハイライトし、バッチ毎に不確かさサンプルを抑圧する。 RAF-DB、AffectNet、AffWild2データセットの実験は、MTACが合成および実際の不確実性に直面した際のベースラインよりも大幅に改善されていることを示した。
  論文  参考訳（メタデータ） (2022-12-14T10:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。