論文の概要: Towards Explainable Multi-Party Learning: A Contrastive Knowledge Sharing Framework

• arxiv url: http://arxiv.org/abs/2104.06670v1
• Date: Wed, 14 Apr 2021 07:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:33:42.102082
• Title: Towards Explainable Multi-Party Learning: A Contrastive Knowledge Sharing Framework
• Title（参考訳）: 説明可能な多人数学習に向けて : コントラスト的知識共有フレームワーク
• Authors: Yuan Gao, Jiawei Li, Maoguo Gong, Yu Xie and A. K. Qin
• Abstract要約: 知識の洗練と共有のための新しいコントラスト型マルチパーティ学習フレームワークを提案する。 提案手法は,様々なシナリオにおけるモデル性能の大幅な向上を実現する。
• 参考スコア（独自算出の注目度）: 23.475874929905192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-party learning provides solutions for training joint models with decentralized data under legal and practical constraints. However, traditional multi-party learning approaches are confronted with obstacles such as system heterogeneity, statistical heterogeneity, and incentive design. How to deal with these challenges and further improve the efficiency and performance of multi-party learning has become an urgent problem to be solved. In this paper, we propose a novel contrastive multi-party learning framework for knowledge refinement and sharing with an accountable incentive mechanism. Since the existing naive model parameter averaging method is contradictory to the learning paradigm of neural networks, we simulate the process of human cognition and communication, and analogy multi-party learning as a many-to-one knowledge sharing problem. The approach is capable of integrating the acquired explicit knowledge of each client in a transparent manner without privacy disclosure, and it reduces the dependence on data distribution and communication environments. The proposed scheme achieves significant improvement in model performance in a variety of scenarios, as we demonstrated through experiments on several real-world datasets.
• Abstract（参考訳）: マルチパーティ学習は、法的および実践的な制約の下で、分散化されたデータでジョイントモデルをトレーニングするためのソリューションを提供する。 しかしながら、従来の多人数学習アプローチは、システムの不均一性、統計的不均一性、インセンティブ設計といった障害に直面している。 これらの課題にどう対処し、マルチパーティラーニングの効率と性能をさらに向上するかは、緊急の課題となっている。 本稿では,知識の洗練と共有のための,説明可能なインセンティブ機構を備えたコントラスト型多人数学習フレームワークを提案する。 既存のナイーブモデルパラメータ平均化法は、ニューラルネットワークの学習パラダイムと矛盾するので、人間の認知とコミュニケーションの過程をシミュレートし、多人数学習を多対一の知識共有問題として類似させる。 このアプローチは、各クライアントの取得した明示的な知識を、プライバシー開示なしに透過的に統合することができ、データ配布や通信環境への依存を減らすことができる。 提案手法は,いくつかの実世界のデータセットで実験を行い,様々なシナリオにおけるモデル性能の大幅な向上を実現する。

関連論文リスト

• Accelerated Stochastic ExtraGradient: Mixing Hessian and Gradient Similarity to Reduce Communication in Distributed and Federated Learning [50.382793324572845]
  分散コンピューティングはデバイス間の通信を伴うため、効率性とプライバシという2つの重要な問題を解決する必要がある。 本稿では,データ類似性とクライアントサンプリングのアイデアを取り入れた新しい手法について分析する。 プライバシー問題に対処するために,付加雑音の手法を適用し,提案手法の収束への影響を解析する。
  論文  参考訳（メタデータ） (2024-09-22T00:49:10Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Personalized Federated Learning with Contextual Modulation and Meta-Learning [2.7716102039510564]
  フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。 本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-23T08:18:22Z)
• UNIDEAL: Curriculum Knowledge Distillation Federated Learning [17.817181326740698]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする、有望なアプローチとして登場した。 本稿では,ドメイン横断シナリオの課題に対処するための新しいFLアルゴリズムであるUNIを提案する。 この結果から,UNIはモデル精度と通信効率の両面において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-09-16T11:30:29Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• Hybrid Contrastive Learning of Tri-Modal Representation for Multimodal Sentiment Analysis [18.4364234071951]
  我々は,三モーダル表現のハイブリッドコントラスト学習のための新しいフレームワークHyConを提案する。 具体的には,モーダル内・モーダル内コントラスト学習と半コントラスト学習を同時に行う。 提案手法は既存の作業より優れている。
  論文  参考訳（メタデータ） (2021-09-04T06:04:21Z)
• Multi-Party Dual Learning [34.360153917562755]
  孤立したパーティにおいて,品質の低い制限データの問題を軽減するために,マルチパーティ・デュアルラーニング(MPDL)フレームワークを提案する。 mpdlフレームワークは最先端のマルチパーティ学習手法に比べて大幅に改善されている。
  論文  参考訳（メタデータ） (2021-04-14T07:39:23Z)
• Emerging Trends in Federated Learning: From Model Fusion to Federated X Learning [65.06445195580622]
  フェデレートラーニング(Federated Learning)は、データ収集とモデルトレーニングを、マルチパーティの計算とモデルアグリゲーションを通じて分離する新しいパラダイムである。 我々は、他の学習アルゴリズムとともに、フェデレーション学習の焦点を絞った調査を行う。
  論文  参考訳（メタデータ） (2021-02-25T15:18:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。