論文の概要: ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning
- arxiv url: http://arxiv.org/abs/2607.09884v1
- Date: Fri, 10 Jul 2026 18:16:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.23638
- Title: ShapKO: Shapley-Adaptive Modality Knockout for Robust Multimodal Learning
- Title（参考訳）: ShapKO:ロバストなマルチモーダル学習のためのシェープ適応型モダリティノックアウト
- Abstract要約: ShapKOは、バリデーションユーティリティに基づいて、モダリティ固有のノックアウト確率を学習する動的トレーニング戦略である。
マルチタスク臨床分類,生存予測,がん検出の3つのデータセットについてShapKOの評価を行った。
- 参考スコア（独自算出の注目度）: 9.227927282972109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal medical models often degrade when inputs are missing, a common scenario in real-world clinical workflows. Separately, even when all modalities are present, modality dominance is observed during training, where optimization over-relies on a highly predictive modality and undertrains complementary sources, resulting in poor robustness under partial availability. While training-time modality knockout improves missing-modality robustness, existing approaches use static masking rates that cannot adapt to evolving modality utility during training. We introduce ShapKO (Shapley-Adaptive Modality Knockout), a dynamic training strategy that learns modality-specific knockout probabilities based on validation utility. ShapKO periodically evaluates performance across modality subsets, estimates modality importance via Shapley values, and updates masking probabilities to suppress dominant modalities more frequently. This adaptive process promotes complementary representations, while requiring no architectural modifications. We evaluate ShapKO on three datasets covering multitask clinical classification, survival prediction, and cancer detection. ShapKO consistently improves performance under modality absence and yields interpretable trajectories of learned masking behavior. Code is available at: https://github.com/sumona00/ShapKO
- Abstract（参考訳）: マルチモーダル医療モデルは、実際の臨床ワークフローにおいて一般的なシナリオである入力が欠落した場合に劣化することが多い。
同時に、全てのモダリティが存在する場合でも、トレーニング中にモダリティの優位性が観察され、高度に予測されたモダリティを過度に最適化し、相補的なソースを過度に訓練することにより、部分的可用性下でのロバスト性が低下する。
トレーニング時のモダリティノックアウトはモダリティの欠如を改善させるが、既存のアプローチでは、トレーニング中のモダリティユーティリティの進化に適応できない静的マスキングレートを使用している。
有効性に基づいてモダリティ固有のノックアウト確率を学習する動的トレーニング戦略であるShapKO(Shapley-Adaptive Modality Knockout)を紹介する。
ShapKOは定期的にモダリティサブセットのパフォーマンスを評価し、Shapley値を通じてモダリティの重要度を推定し、マスキング確率を更新して支配的なモダリティをより頻繁に抑制する。
この適応的なプロセスは、アーキテクチャの変更を必要とせず、補完的な表現を促進する。
マルチタスク臨床分類,生存予測,がん検出の3つのデータセットについてShapKOの評価を行った。
ShapKOは、モダリティの欠如によるパフォーマンスを一貫して改善し、学習されたマスキング行動の解釈可能な軌道を得る。
コードは、https://github.com/sumona00/ShapKOで入手できる。
関連論文リスト
- MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。
ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
論文 参考訳（メタデータ） (2026-05-18T01:52:12Z) - Resilient Vision-Tabular Multimodal Learning under Modality Missingness [1.696842238811138]
マルチモーダルディープラーニングは医療応用において大きな可能性を秘めている。
既存のアプローチの多くは、完全にモダリティの可用性を暗黙的に仮定している。
共同視覚・タブラリ学習のためのマルチモーダルトランスフォーマーフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-12T12:14:13Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - ModalImmune: Immunity Driven Unlearning via Self Destructive Training [21.940530514137947]
モダル免疫は、訓練中に選択したモダリティ情報を意図的に崩壊させることにより、モダリティ免疫を強制する。
フレームワークは、スペクトル適応型崩壊正規化器、ターゲットとなる介入のための情報ゲイン誘導コントローラ、破壊的な更新を安定化するための曲率対応勾配マスキングを組み合わせた。
標準マルチモーダルベンチマークの実証評価では、モーダル免疫は収束安定性と復元能力を維持しつつ、モダリティ除去と腐敗に対するレジリエンスを改善している。
論文 参考訳（メタデータ） (2026-02-18T05:35:32Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳（メタデータ） (2025-08-08T10:01:16Z) - Fast and Stable Diffusion Planning through Variational Adaptive Weighting [3.745003761050674]
拡散モデルは、最近オフラインRLで有望であることが示されている。
これらの手法は、しばしば高い訓練コストと緩やかな収束に悩まされる。
本稿では,フローベース生成モデルに基づくオンライン推定のためのクローズドフォーム近似手法を提案する。
Maze2D タスクと Kitchen タスクの実験結果から,本手法は最大10倍のトレーニングステップで競争性能を達成できることが示された。
論文 参考訳（メタデータ） (2025-06-20T02:12:04Z) - Modality Equilibrium Matters: Minor-Modality-Aware Adaptive Alternating for Cross-Modal Memory Enhancement [13.424541949553964]
そこで本研究では,微調整を適応的に優先順位付けしてバランスを保ち,融合を促進させるシェープリー誘導型交互訓練フレームワークを提案する。
我々は4つのマルチモーダル・ベンチマーク・データセットのバランスと精度の両面での性能評価を行い,その手法がSOTA(State-of-the-art)の結果を達成した。
論文 参考訳（メタデータ） (2025-05-26T02:02:57Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。
本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。
本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
論文 参考訳（メタデータ） (2024-06-04T06:07:24Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。
ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。
さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2023-02-02T04:27:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。