論文の概要: A Kernel Perspective on Distillation-based Collaborative Learning

• arxiv url: http://arxiv.org/abs/2410.17592v2
• Date: Wed, 30 Oct 2024 08:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:22:36.057791
• Title: A Kernel Perspective on Distillation-based Collaborative Learning
• Title（参考訳）: 蒸留による協調学習のカーネル・パースペクティブ
• Authors: Sejun Park, Kihun Hong, Ganguk Hwang,
• Abstract要約: 統計的に異種環境において局所データやモデルを直接共有しない非パラメトリック協調学習アルゴリズムを提案する。 理論的結果から着想を得て,ニューラルネットワークアーキテクチャに基づく実用的蒸留に基づく協調学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 8.971234046933349
• License:
• Abstract: Over the past decade, there is a growing interest in collaborative learning that can enhance AI models of multiple parties. However, it is still challenging to enhance performance them without sharing private data and models from individual parties. One recent promising approach is to develop distillation-based algorithms that exploit unlabeled public data but the results are still unsatisfactory in both theory and practice. To tackle this problem, we rigorously analyze a representative distillation-based algorithm in the view of kernel regression. This work provides the first theoretical results to prove the (nearly) minimax optimality of the nonparametric collaborative learning algorithm that does not directly share local data or models in massively distributed statistically heterogeneous environments. Inspired by our theoretical results, we also propose a practical distillation-based collaborative learning algorithm based on neural network architecture. Our algorithm successfully bridges the gap between our theoretical assumptions and practical settings with neural networks through feature kernel matching. We simulate various regression tasks to verify our theory and demonstrate the practical feasibility of our proposed algorithm.
• Abstract（参考訳）: 過去10年間で、複数のパーティのAIモデルを強化するコラボレーティブラーニングへの関心が高まっている。 しかし、個々のパーティからプライベートデータやモデルを共有することなく、パフォーマンスを向上させることは依然として困難である。 最近の有望なアプローチの1つは、ラベルのない公開データを利用する蒸留ベースのアルゴリズムを開発することである。 この問題に対処するために,カーネルレグレッションの観点から,代表蒸留に基づくアルゴリズムを厳密に分析する。 この研究は、大規模に分散した統計的に不均一な環境で、局所的なデータやモデルを直接共有しない非パラメトリック協調学習アルゴリズムの(ほぼ)ミニマックス最適性を証明する最初の理論的結果を提供する。 理論的結果から着想を得て,ニューラルネットワークアーキテクチャに基づく実用的蒸留に基づく協調学習アルゴリズムを提案する。 提案アルゴリズムは,機能的カーネルマッチングにより,理論的仮定とニューラルネットワークの実践的設定とのギャップを埋めることに成功した。 提案手法の有効性を検証し,提案手法の有効性を実証するために,様々な回帰タスクをシミュレートする。

関連論文リスト

• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Algorithmic Collective Action in Machine Learning [35.91866986642348]
  機械学習アルゴリズムをデプロイするデジタルプラットフォーム上でのアルゴリズム集合行動について研究する。 本稿では,企業の学習アルゴリズムと相互作用する集合の単純な理論的モデルを提案する。 我々は,フリーランサーのためのギグプラットフォームから数万の履歴書を含むスキル分類タスクについて,体系的な実験を行った。
  論文  参考訳（メタデータ） (2023-02-08T18:55:49Z)
• Proof of Swarm Based Ensemble Learning for Federated Learning Applications [3.2536767864585663]
  連合学習では、プライバシー上の懸念から、集中型アンサンブル学習を直接適用することは不可能である。 ビザンティンフォールトトレランス(BFT)のようなほとんどの分散コンセンサスアルゴリズムは、通常そのようなアプリケーションではうまく機能しない。 フェデレートされた環境でのアンサンブル学習のための分散コンセンサスアルゴリズムPoSwを提案する。
  論文  参考訳（メタデータ） (2022-12-28T13:53:34Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Learnability of Competitive Threshold Models [11.005966612053262]
  理論的観点から,競合しきい値モデルの学習可能性について検討する。 ニューラルネットワークによって競合しきい値モデルをシームレスにシミュレートする方法を実証する。
  論文  参考訳（メタデータ） (2022-05-08T01:11:51Z)
• Towards Model Agnostic Federated Learning Using Knowledge Distillation [9.947968358822951]
  本研究では,モデル非依存通信プロトコルの理論的研究を開始する。 我々は,2つのエージェントが異なるカーネルを用いてカーネルレグレッションを実行しようとする設定に焦点を当てる。 我々の研究は驚くべき結果をもたらします -- 交互知識蒸留(AKD)を用いる最も自然なアルゴリズムは、過度に強い正則化を課します。
  論文  参考訳（メタデータ） (2021-10-28T15:27:51Z)
• Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms [91.3755431537592]
  プラグイン推定と擬似出力回帰に依存する4つの幅広いメタ学習戦略を解析する。 この理論的推論を用いて、アルゴリズム設計の原則を導出し、分析を実践に翻訳する方法について強調する。
  論文  参考訳（メタデータ） (2021-01-26T17:11:40Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。