論文の概要: Towards Explainable Multi-Party Learning: A Contrastive Knowledge
Sharing Framework
- arxiv url: http://arxiv.org/abs/2104.06670v1
- Date: Wed, 14 Apr 2021 07:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-15 13:33:42.102082
- Title: Towards Explainable Multi-Party Learning: A Contrastive Knowledge
Sharing Framework
- Title(参考訳): 説明可能な多人数学習に向けて : コントラスト的知識共有フレームワーク
- Authors: Yuan Gao, Jiawei Li, Maoguo Gong, Yu Xie and A. K. Qin
- Abstract要約: 知識の洗練と共有のための新しいコントラスト型マルチパーティ学習フレームワークを提案する。
提案手法は,様々なシナリオにおけるモデル性能の大幅な向上を実現する。
- 参考スコア(独自算出の注目度): 23.475874929905192
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-party learning provides solutions for training joint models with
decentralized data under legal and practical constraints. However, traditional
multi-party learning approaches are confronted with obstacles such as system
heterogeneity, statistical heterogeneity, and incentive design. How to deal
with these challenges and further improve the efficiency and performance of
multi-party learning has become an urgent problem to be solved. In this paper,
we propose a novel contrastive multi-party learning framework for knowledge
refinement and sharing with an accountable incentive mechanism. Since the
existing naive model parameter averaging method is contradictory to the
learning paradigm of neural networks, we simulate the process of human
cognition and communication, and analogy multi-party learning as a many-to-one
knowledge sharing problem. The approach is capable of integrating the acquired
explicit knowledge of each client in a transparent manner without privacy
disclosure, and it reduces the dependence on data distribution and
communication environments. The proposed scheme achieves significant
improvement in model performance in a variety of scenarios, as we demonstrated
through experiments on several real-world datasets.
- Abstract(参考訳): マルチパーティ学習は、法的および実践的な制約の下で、分散化されたデータでジョイントモデルをトレーニングするためのソリューションを提供する。
しかしながら、従来の多人数学習アプローチは、システムの不均一性、統計的不均一性、インセンティブ設計といった障害に直面している。
これらの課題にどう対処し、マルチパーティラーニングの効率と性能をさらに向上するかは、緊急の課題となっている。
本稿では,知識の洗練と共有のための,説明可能なインセンティブ機構を備えたコントラスト型多人数学習フレームワークを提案する。
既存のナイーブモデルパラメータ平均化法は、ニューラルネットワークの学習パラダイムと矛盾するので、人間の認知とコミュニケーションの過程をシミュレートし、多人数学習を多対一の知識共有問題として類似させる。
このアプローチは、各クライアントの取得した明示的な知識を、プライバシー開示なしに透過的に統合することができ、データ配布や通信環境への依存を減らすことができる。
提案手法は,いくつかの実世界のデータセットで実験を行い,様々なシナリオにおけるモデル性能の大幅な向上を実現する。
関連論文リスト
- Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - A Comprehensive Study on Model Initialization Techniques Ensuring
Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、分散とプライバシ保護の方法で機械学習モデルをトレーニングするための有望なパラダイムとして登場した。
モデルに使用される手法の選択は、フェデレーション学習システムの性能、収束速度、通信効率、プライバシー保証において重要な役割を果たす。
本研究は,各手法のメリットとデメリットを慎重に比較,分類,記述し,さまざまなFLシナリオに適用性について検討する。
論文 参考訳(メタデータ) (2023-10-31T23:26:58Z) - UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。
本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。
この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-09-16T11:30:29Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳(メタデータ) (2022-06-20T03:09:46Z) - Non-IID data and Continual Learning processes in Federated Learning: A
long road ahead [58.720142291102135]
フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。
本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。
同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
論文 参考訳(メタデータ) (2021-11-26T09:57:11Z) - Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal
Sentiment Analysis [18.4364234071951]
我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。
具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。
提案手法は既存の作業より優れている。
論文 参考訳(メタデータ) (2021-09-04T06:04:21Z) - Multi-Party Dual Learning [34.360153917562755]
孤立したパーティにおいて,品質の低い制限データの問題を軽減するために,マルチパーティ・デュアルラーニング(MPDL)フレームワークを提案する。
mpdlフレームワークは最先端のマルチパーティ学習手法に比べて大幅に改善されている。
論文 参考訳(メタデータ) (2021-04-14T07:39:23Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。