論文の概要: FDRMFL:Multi-modal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning
- arxiv url: http://arxiv.org/abs/2512.02076v1
- Date: Sun, 30 Nov 2025 17:13:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-03 21:04:45.555564
- Title: FDRMFL:Multi-modal Federated Feature Extraction Model Based on Information Maximization and Contrastive Learning
- Title(参考訳): FDRMFL:情報最大化とコントラスト学習に基づくマルチモーダル・フェデレーション特徴抽出モデル
- Authors: Haozhe Wu,
- Abstract要約: 本研究では,マルチモーダルデータ回帰における特徴抽出問題に焦点をあてる。
実世界のシナリオでは、制限と非IIDデータ、マルチモーダル情報の効果的な抽出と融合、モデル学習における破滅的な忘れ込みへの感受性の3つの課題に対処する。
- 参考スコア(独自算出の注目度): 4.453671369861554
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study focuses on the feature extraction problem in multi-modal data regression. To address three core challenges in real-world scenarios: limited and non-IID data, effective extraction and fusion of multi-modal information, and susceptibility to catastrophic forgetting in model learning, a task-driven supervised multi-modal federated feature extraction method is proposed. The method integrates multi-modal information extraction and contrastive learning mechanisms, and can adapt to different neural network structures as the latent mapping functions for data of each modality. It supports each client to independently learn low-dimensional representations of multi-modal data, and can flexibly control the degree of retention of effective information about the response variable in the predictive variables within the low-dimensional features through parameter tuning. The multi-constraint learning framework constructed by the method guarantees regression accuracy using Mean Squared Error loss. Through the synergistic effect of mutual information preservation constraint, symmetric Kullback-Leibler divergence constraint, and inter-model contrastive constraint, it achieves the retention of task-related information, the extraction, fusion, and alignment of multi-modal features, and the mitigation of representation drift and catastrophic forgetting in non-IID scenarios, respectively. This ensures that the feature extraction process always centers on improving the performance of downstream regression tasks. Experimental results from simulations and real-world data analysis demonstrate that the proposed method achieves more significant performance improvement on downstream regression tasks compared with classical feature extraction techniques.
- Abstract(参考訳): 本研究では,マルチモーダルデータ回帰における特徴抽出問題に焦点をあてる。
実世界のシナリオにおける3つの課題に対処するために,マルチモーダル情報の効率的な抽出と融合,モデル学習における破滅的な忘れ込みへの感受性,タスク駆動型マルチモーダル・フェデレーション付き特徴抽出法を提案する。
本手法は,マルチモーダル情報抽出とコントラスト学習機構を統合し,各モーダルデータに対する潜時マッピング機能として,異なるニューラルネットワーク構造に適応することができる。
各クライアントは、マルチモーダルデータの低次元表現を独立に学習し、パラメータチューニングにより、低次元特徴内の予測変数の応答変数に関する有効情報の保持度を柔軟に制御することができる。
この手法により構築された多制約学習フレームワークは,平均二乗誤差損失を用いた回帰精度を保証する。
相互情報保存制約、対称カルバック・リーブラー分散制約、モデル間コントラスト制約の相乗効果により、タスク関連情報の保持、マルチモーダル特徴の抽出、融合、アライメント、および非IIDシナリオにおける表現ドリフトと破滅的忘れの緩和をそれぞれ達成する。
これにより、機能抽出プロセスが常に下流の回帰タスクのパフォーマンス向上に集中することを保証します。
シミュレーションおよび実世界のデータ解析による実験結果から,提案手法は従来の特徴抽出手法と比較して,下流回帰タスクにおいてより顕著な性能向上を実現することが示された。
関連論文リスト
- Cross-Learning from Scarce Data via Multi-Task Constrained Optimization [70.90607489166648]
本稿では,データ不足を克服するマルチタスク・エンフクロス学習フレームワークを提案する。
我々はこの結合推定を制約付き最適化問題として定式化する。
本研究では, 画像分類や伝染病の伝播を含む実データを用いて, クロスラーニング手法の有効性を示す。
論文 参考訳(メタデータ) (2025-11-17T18:35:59Z) - I$^3$-MRec: Invariant Learning with Information Bottleneck for Incomplete Modality Recommendation [56.55935146424585]
textbfIncomplete textbfModality textbfRecommendation の textbfInformation ボトルネック原理を用いて学習する textbfI$3$-MRec を紹介する。
それぞれのモダリティを異なる意味環境として扱うことで、I$3$-MRecは、優先指向の表現を学習するために不変リスク最小化(IRM)を採用する。
I$3$-MRecは、様々なモダリティ欠落シナリオにおいて、既存の最先端MSSメソッドを一貫して上回る
論文 参考訳(メタデータ) (2025-08-06T09:29:50Z) - Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [15.205192581534973]
マルチモーダル感情分析は、マルチモーダルデータを通して人間の感情を理解することを目的としている。
既存のモダリティの欠如を扱う方法は、データ再構成や共通部分空間投影に基づいている。
マルチモーダルな確率的埋め込みを効果的に組み込んだ信頼性認識型自己蒸留(CASD)戦略を提案する。
論文 参考訳(メタデータ) (2025-06-02T09:48:41Z) - Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。
1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。
本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
論文 参考訳(メタデータ) (2025-05-10T12:58:15Z) - Interpretable Feature Interaction via Statistical Self-supervised Learning on Tabular Data [22.20955211690874]
Spofeは、統計的厳密さによる明確な解釈可能性を達成するために、原則化された表現をキャプチャする、新しい自己教師型機械学習パイプラインである。
このアプローチの基盤となるのは、正確なエラー境界と厳密な偽発見率(FDR)制御を提供する、堅牢な理論フレームワークです。
さまざまな実世界のデータセットの実験は、Spotfeの有効性を実証している。
論文 参考訳(メタデータ) (2025-03-23T12:27:42Z) - AdaPRL: Adaptive Pairwise Regression Learning with Uncertainty Estimation for Universal Regression Tasks [0.0]
回帰タスクのための適応型ペアワイズ学習フレームワーク(AdaPRL)を提案する。
AdaPRLは、データポイントと深い確率モデルの間の相対的な差異を利用して、予測に関連する不確実性を定量化する。
実験により、AdaPRLが最近提案された回帰フレームワークにシームレスに統合され、パフォーマンスが向上することが示された。
論文 参考訳(メタデータ) (2025-01-10T09:19:10Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Multi-Task Learning with Summary Statistics [4.871473117968554]
様々な情報源からの要約統計を利用した柔軟なマルチタスク学習フレームワークを提案する。
また,Lepskiの手法の変種に基づく適応パラメータ選択手法を提案する。
この研究は、さまざまな領域にわたる関連するモデルをトレーニングするための、より柔軟なツールを提供する。
論文 参考訳(メタデータ) (2023-07-05T15:55:23Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。