論文の概要: Improving Heterogeneous Model Reuse by Density Estimation

• arxiv url: http://arxiv.org/abs/2305.13871v1
• Date: Tue, 23 May 2023 09:46:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 17:16:31.631670
• Title: Improving Heterogeneous Model Reuse by Density Estimation
• Title（参考訳）: 密度推定による異種モデル再利用の改善
• Authors: Anke Tang, Yong Luo, Han Hu, Fengxiang He, Kehua Su, Bo Du, Yixin Chen, Dacheng Tao
• Abstract要約: 本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
• 参考スコア（独自算出の注目度）: 105.97036205113258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies multiparty learning, aiming to learn a model using the private data of different participants. Model reuse is a promising solution for multiparty learning, assuming that a local model has been trained for each party. Considering the potential sample selection bias among different parties, some heterogeneous model reuse approaches have been developed. However, although pre-trained local classifiers are utilized in these approaches, the characteristics of the local data are not well exploited. This motivates us to estimate the density of local data and design an auxiliary model together with the local classifiers for reuse. To address the scenarios where some local models are not well pre-trained, we further design a multiparty cross-entropy loss for calibration. Upon existing works, we address a challenging problem of heterogeneous model reuse from a decision theory perspective and take advantage of recent advances in density estimation. Experimental results on both synthetic and benchmark data demonstrate the superiority of the proposed method.
• Abstract（参考訳）: 本稿では,異なる参加者の個人データを用いてモデルを学ぶことを目的とした多人数学習について述べる。 モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。 異なる当事者間のサンプル選択バイアスを考慮した異種モデル再利用手法が開発されている。 しかし,これらの手法では事前学習した局所分類器が活用されているが,局所データの特徴は十分に活用されていない。 これにより、局所データの密度を推定し、再利用のための局所分類器と共に補助モデルを設計する動機付けとなる。 いくつかの局所モデルが十分に事前訓練されていないシナリオに対処するため、キャリブレーションのためのマルチパーティクロスエントロピー損失を設計する。 既存手法では, 決定理論の観点から不均質モデル再利用の課題に対処し, 近年の密度推定の進歩を生かした。 合成データとベンチマークデータの両方の実験結果から,提案手法の優位性を実証した。

関連論文リスト

• Model Assessment and Selection under Temporal Distribution Shift [1.024113475677323]
  我々は,与えられたモデルの一般化誤差を推定する適応型ローリングウインドウ手法を開発した。 また、ペアワイズ比較を単一消去トーナメントに統合し、候補の集合から最適に近いモデル選択を行う。
  論文  参考訳（メタデータ） (2024-02-13T18:54:08Z)
• Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
  本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。 また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。 提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
  論文  参考訳（メタデータ） (2024-01-29T16:01:38Z)
• Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
  フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。 本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。 提案手法は最先端手法に比べて平均精度が13%高い。
  論文  参考訳（メタデータ） (2023-11-14T14:37:33Z)
• Pre-trained Recommender Systems: A Causal Debiasing Perspective [19.712997823535066]
  本研究では,異なるドメインから抽出した汎用ユーザ・イテムインタラクションデータをトレーニングすることで,ユニバーサルインタラクションパターンをキャプチャする汎用レコメンデータを開発する。 実験により,提案モデルにより,ゼロショットと少数ショットの学習環境での推薦性能が大幅に向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T03:37:32Z)
• Dual Student Networks for Data-Free Model Stealing [79.67498803845059]
  主な課題は、パラメータにアクセスせずにターゲットモデルの勾配を推定し、多様なトレーニングサンプルを生成することである。 そこで本研究では,2人の学生が左右対称に学習し,学生が反対するサンプルを生成するための基準を提案する。 我々の新しい最適化フレームワークは、目標モデルのより正確な勾配推定と、ベンチマーク分類データセットの精度向上を提供する。
  論文  参考訳（メタデータ） (2023-09-18T18:11:31Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
  連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。 そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。 局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
  論文  参考訳（メタデータ） (2021-10-25T13:33:20Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。