論文の概要: Harmonized Tabular-Image Fusion via Gradient-Aligned Alternating Learning
- arxiv url: http://arxiv.org/abs/2604.01579v1
- Date: Thu, 02 Apr 2026 03:47:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-03 14:21:10.213486
- Title: Harmonized Tabular-Image Fusion via Gradient-Aligned Alternating Learning
- Title(参考訳): 逐次交替学習による高調波タブラル画像融合
- Authors: Longfei Huang, Yang Yang,
- Abstract要約: 本稿では,この問題に対処する新たなパラダイムとして,GAAL(Gradient-Aligned Alternating Learning)を提案する。
GAALは、マルチモーダル勾配を分離し、相互作用を促進するために、一助学習と共有分類器を交互に採用している。
その結果、GAALは効果的な単調補助を提供し、全体の核融合性能を高めるのに役立てることができる。
- 参考スコア(独自算出の注目度): 4.3203057589564695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal tabular-image fusion is an emerging task that has received increasing attention in various domains. However, existing methods may be hindered by gradient conflicts between modalities, misleading the optimization of the unimodal learner. In this paper, we propose a novel Gradient-Aligned Alternating Learning (GAAL) paradigm to address this issue by aligning modality gradients. Specifically, GAAL adopts an alternating unimodal learning and shared classifier to decouple the multimodal gradient and facilitate interaction. Furthermore, we design uncertainty-based cross-modal gradient surgery to selectively align cross-modal gradients, thereby steering the shared parameters to benefit all modalities. As a result, GAAL can provide effective unimodal assistance and help boost the overall fusion performance. Empirical experiments on widely used datasets reveal the superiority of our method through comparison with various state-of-the-art (SoTA) tabular-image fusion baselines and test-time tabular missing baselines. The source code is available at https://github.com/njustkmg/ICME26-GAAL.
- Abstract(参考訳): マルチモーダル表像融合は,様々な領域で注目を集めている課題である。
しかし、既存の手法は、モダリティ間の勾配の衝突によって妨げられ、一助学習者の最適化を誤解させる可能性がある。
本稿では,モダリティ勾配を整列させることにより,この問題に対処する新しいGAAL(Gradient-Aligned Alternating Learning)パラダイムを提案する。
具体的には、GAALは交互に一助学習と共有分類器を採用し、マルチモーダル勾配を分離し、相互作用を促進する。
さらに、不確実性に基づくクロスモーダル勾配手術を設計し、クロスモーダル勾配を選択的に整列させ、共有パラメータを操り、全てのモダリティに利益をもたらす。
その結果、GAALは効果的な単調補助を提供し、全体の核融合性能を高めるのに役立てることができる。
広範に使用されているデータセットに対する実証実験により,各種の最先端(SoTA)タブ画像融合ベースラインとテスト時間タブ画像欠落ベースラインとの比較により,本手法の優位性を明らかにした。
ソースコードはhttps://github.com/njustkmg/ICME26-GAALで公開されている。
関連論文リスト
- Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。
従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。
本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-04-27T13:58:12Z) - Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。
UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。
CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
論文 参考訳(メタデータ) (2024-11-03T02:38:43Z) - ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。
固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。
提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文 参考訳(メタデータ) (2024-05-15T13:22:39Z) - Gradient-Guided Modality Decoupling for Missing-Modality Robustness [24.95911972867697]
我々は,モダリティの優位性を監視し,抑制するために,新しい指標,勾配を導入する。
本稿では, 支配的モダリティへの依存を分離するために, GMD法を提案する。
さらに,モーダル不完全データを柔軟に処理するために,パラメータ効率のよい動的共有フレームワークを設計する。
論文 参考訳(メタデータ) (2024-02-26T05:50:43Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳(メタデータ) (2021-06-20T04:28:20Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。