論文の概要: Multi-Party Dual Learning

• arxiv url: http://arxiv.org/abs/2104.06677v1
• Date: Wed, 14 Apr 2021 07:39:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:11:39.389322
• Title: Multi-Party Dual Learning
• Title（参考訳）: 多人数デュアルラーニング
• Authors: Maoguo Gong, Yuan Gao, Yu Xie, A. K. Qin, Ke Pan, and Yew-Soon Ong
• Abstract要約: 孤立したパーティにおいて,品質の低い制限データの問題を軽減するために,マルチパーティ・デュアルラーニング(MPDL)フレームワークを提案する。 mpdlフレームワークは最先端のマルチパーティ学習手法に比べて大幅に改善されている。
• 参考スコア（独自算出の注目度）: 34.360153917562755
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of machine learning algorithms heavily relies on the availability of a large amount of training data. However, in reality, data usually reside in distributed parties such as different institutions and may not be directly gathered and integrated due to various data policy constraints. As a result, some parties may suffer from insufficient data available for training machine learning models. In this paper, we propose a multi-party dual learning (MPDL) framework to alleviate the problem of limited data with poor quality in an isolated party. Since the knowledge sharing processes for multiple parties always emerge in dual forms, we show that dual learning is naturally suitable to handle the challenge of missing data, and explicitly exploits the probabilistic correlation and structural relationship between dual tasks to regularize the training process. We introduce a feature-oriented differential privacy with mathematical proof, in order to avoid possible privacy leakage of raw features in the dual inference process. The approach requires minimal modifications to the existing multi-party learning structure, and each party can build flexible and powerful models separately, whose accuracy is no less than non-distributed self-learning approaches. The MPDL framework achieves significant improvement compared with state-of-the-art multi-party learning methods, as we demonstrated through simulations on real-world datasets.
• Abstract（参考訳）: 機械学習アルゴリズムの性能は、大量のトレーニングデータの可用性に大きく依存している。 しかし実際には、データは異なる機関などの分散パーティに常駐し、さまざまなデータポリシー制約のために直接収集や統合はできない。 結果として、機械学習モデルをトレーニングするのに不十分なデータに悩まされることもある。 本稿では,孤立したパーティにおいて,品質の低い制限データの問題を軽減するために,MPDL(multi-party dual learning)フレームワークを提案する。 複数当事者の知識共有プロセスは常に2つの形式で現れるため、二重学習は自然にデータ不足の課題に対処するのに適しており、二重タスク間の確率的相関と構造的関係を明示的に活用してトレーニングプロセスを定式化する。 我々は,二元推論における生機能のプライバシー漏洩を回避するために,数学的証明による特徴指向の微分プライバシーを導入する。 このアプローチでは、既存のマルチパーティ学習構造への最小限の変更が必要であり、各パーティはフレキシブルでパワフルなモデルを別々に構築することができる。 このMPDLフレームワークは,実世界のデータセットのシミュレーションを通じて示すように,最先端のマルチパーティ学習手法と比較して,大幅な改善を実現している。

関連論文リスト

• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Encapsulating Knowledge in One Prompt [56.31088116526825]
  KiOPは、元のモデルを変更したり、トレーニングデータにアクセスする必要なしに、さまざまなモデルからの知識を単独のプロンプトにカプセル化する。 実用性の観点から、このパラダイムは、データアクセス不能なコンテキストにおけるVisual Promptの有効性を証明している。 様々なデータセットとモデルを用いた実験は、提案したKiOP知識伝達パラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T16:35:23Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• MultiDelete for Multimodal Machine Unlearning [14.755831733659699]
  MultiDeleteは、アンラーニング中の非モーダルデータポイント間の関連を分離するように設計されている。 アンラーニング後のオリジナルのモデルのマルチモーダルとユニモーダルの知識を維持できる。 敵の攻撃に対して、未学習のデータに対するより優れた保護を提供することができる。
  論文  参考訳（メタデータ） (2023-11-18T08:30:38Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Partitioned Variational Inference: A Framework for Probabilistic Federated Learning [45.9225420256808]
  フェデレートされた環境でVIを実行するためのフレームワークであるパーティショニング付き変分推論(PVI)を導入する。 我々はPVIの新たな支援理論を開発し、実践者にとって魅力的な選択となる多くの特性を実証する。
  論文  参考訳（メタデータ） (2022-02-24T18:15:30Z)
• Non-IID data and Continual Learning processes in Federated Learning: A long road ahead [58.720142291102135]
  フェデレートラーニング(Federated Learning)は、複数のデバイスや機関が、データをプライベートに保存しながら、機械学習モデルを協調的にトレーニングすることを可能にする、新しいフレームワークである。 本研究では,データの統計的不均一性を正式に分類し,それに直面することのできる最も顕著な学習戦略をレビューする。 同時に、継続学習のような他の機械学習フレームワークからのアプローチを導入し、データの不均一性にも対処し、フェデレートラーニング設定に容易に適応できるようにします。
  論文  参考訳（メタデータ） (2021-11-26T09:57:11Z)
• Towards Explainable Multi-Party Learning: A Contrastive Knowledge Sharing Framework [23.475874929905192]
  知識の洗練と共有のための新しいコントラスト型マルチパーティ学習フレームワークを提案する。 提案手法は,様々なシナリオにおけるモデル性能の大幅な向上を実現する。
  論文  参考訳（メタデータ） (2021-04-14T07:33:48Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• An Online Method for A Class of Distributionally Robust Optimization with Non-Convex Objectives [54.29001037565384]
  本稿では,オンライン分散ロバスト最適化(DRO)のクラスを解決するための実用的なオンライン手法を提案する。 本研究は,ネットワークの堅牢性向上のための機械学習における重要な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-17T20:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。