論文の概要: Prototype-guided Bilateral Alignment Multimodal Federated Learning
- arxiv url: http://arxiv.org/abs/2609.38925v1
- Date: Wed, 30 Sep 2026 04:08:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.158653
- Title: Prototype-guided Bilateral Alignment Multimodal Federated Learning
- Title(参考訳): プロトタイプ誘導型バイラテラルアライメント・マルチモーダル・フェデレーションラーニング
- Abstract要約: textbfMultimodal textbfFederated Learning Prototype-guided Bilateral Alignment frameworkを提案する。
MFedPBAは二重アライメント機構を通じて堅牢な知識シナジーを促進する。
- 参考スコア(独自算出の注目度): 21.61289235703437
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multimodal federated learning (MFL) has emerged as a pivotal paradigm for leveraging distributed data to enhance model performance. However, existing methods predominantly rely on idealized assumptions of model homogeneity and balanced modality distributions, rendering them ill-suited for practical scenarios characterized by heterogeneous client architectures and severe modality imbalance. To address these challenges, we propose a \textbf{M}ultimodal \textbf{Fed}erated learning Prototype-guided Bilateral Alignment (MFedPBA) framework. MFedPBA facilitates robust knowledge synergy through a dual alignment mechanism: (i) at the feature level, it aligns heterogeneous feature spaces via a projection encoder optimized by contrastive learning and the Gromov-Wasserstein distance; (ii) at the decision level, it employs an entropy-weighted aggregation of naturally aligned logit prototypes. This novel design achieves robust MFL by jointly tackling heterogeneous feature spaces and collectively aggregating decisions. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art baselines under conditions of model heterogeneity and modality imbalance.
- Abstract(参考訳): マルチモーダル・フェデレート・ラーニング(MFL)は,分散データを活用したモデル性能向上のための重要なパラダイムとして登場した。
しかし、既存の手法は主にモデル均質性とバランスの取れたモダリティ分布の理想的な仮定に依存しており、不均一なクライアントアーキテクチャと厳密なモダリティの不均衡を特徴とする現実的なシナリオに不適当である。
これらの課題に対処するために,プロトタイプ誘導バイラテラルアライメント(MFedPBA)フレームワークを提案する。
MFedPBAは二重アライメント機構を通じて堅牢な知識シナジーを促進する。
(i)特徴量レベルでは、コントラスト学習とグロモフ・ワッサーシュタイン距離に最適化された射影エンコーダを介して異種特徴空間を整列する。
(2)決定レベルでは、自然に整列したロジットプロトタイプのエントロピー重み付けアグリゲーションを用いる。
この斬新な設計は、不均一な特徴空間に共同で取り組み、集合的な決定を行うことにより、堅牢なMFLを実現する。
実験結果から,本手法はモデルの不均一性とモダリティの不均衡条件下で,最先端のベースラインを著しく上回ることを示した。
関連論文リスト
- Disentangled Fine-Grained Prototype Learning for Incomplete Image-Tabular Classification [28.25868366778138]
DFPLは、きめ細かいプロトタイプ学習のための新しいフレームワークである。
SSPMはコンパクトで多種多様な共有およびモダリティ特異的なプロトタイプを抽出する。
PFAモジュールは、プロトタイプレベルの分散マッチングとプロトタイプからクラスへのセマンティックアライメントを共同で実施する。
論文 参考訳(メタデータ) (2026-06-03T21:24:05Z) - Anisotropic Modality Align [91.23979617826926]
マルチモーダルな大規模言語モデルの訓練は、高品質なペア型マルチモーダルデータの不足により、長い間制限されてきた。
近年の研究では、事前訓練されたマルチモーダルコントラストモデルの共有表現空間がブリッジとして機能し、非モーダルデータを用いたマルチモーダルトレーニングを可能にすることが示されている。
中心となる障害は、共有空間の永続的なモダリティギャップにある。
論文 参考訳(メタデータ) (2026-05-08T14:53:24Z) - ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。
パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。
我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
論文 参考訳(メタデータ) (2026-04-20T04:55:11Z) - ES-Merging: Biological MLLM Merging via Embedding Space Signals [52.84455878597969]
埋め込み空間信号からマージ係数を推定する表現対応マージフレームワークを提案する。
提案手法は既存のマージ手法よりも優れており,タスク固有の微調整モデルを超えている。
論文 参考訳(メタデータ) (2026-03-15T14:38:32Z) - An Integrated Fusion Framework for Ensemble Learning Leveraging Gradient Boosting and Fuzzy Rule-Based Models [59.13182819190547]
ファジィ規則に基づくモデルは解釈可能性に優れ、様々な分野に広く応用されている。
複雑な設計仕様や大規模データセットのスケーラビリティといった課題に直面している。
本稿では,モデル性能と解釈可能性を高めるために,両パラダイムの強みを融合した統合統合フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-11T10:28:23Z) - Composition and Alignment of Diffusion Models using Constrained Learning [79.36736636241564]
拡散モデルは、複雑な分布からサンプルを採取する能力により、生成的モデリングにおいて普及している。
i) 拡散モデルを微調整して報酬と整合させるアライメントと、(ii) 予め訓練された拡散モデルを組み合わせて、それぞれが生成した出力に望ましい属性を強調する合成である。
本稿では,共役モデルが報酬制約を満たすこと,あるいは(潜在的に複数の)事前学習モデルに近づき続けることを強制することによって,拡散モデルのアライメントと構成を統一する制約付き最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-08-26T15:06:30Z) - FedORGP: Guiding Heterogeneous Federated Learning with Orthogonality Regularization on Global Prototypes [31.93057335216804]
フェデレートラーニング(FL)は、分散機械学習に不可欠なフレームワークとして登場した。
現在のアプローチでは、クラスを分離する際の制限に直面している。
本稿では,クラス内プロトタイプの類似性を奨励し,クラス間角分離を拡大するFedtFLORGを紹介する。
論文 参考訳(メタデータ) (2025-02-22T07:02:51Z) - InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion [53.90516061351706]
両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。
サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。
本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
論文 参考訳(メタデータ) (2024-03-26T06:35:55Z) - Every Parameter Matters: Ensuring the Convergence of Federated Learning
with Dynamic Heterogeneous Models Reduction [22.567754688492414]
クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。
近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。
本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
論文 参考訳(メタデータ) (2023-10-12T19:07:58Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。