論文の概要: Adaptive Distributed Kernel Ridge Regression: A Feasible Distributed
Learning Scheme for Data Silos
- arxiv url: http://arxiv.org/abs/2309.04236v1
- Date: Fri, 8 Sep 2023 09:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 13:43:40.569642
- Title: Adaptive Distributed Kernel Ridge Regression: A Feasible Distributed
Learning Scheme for Data Silos
- Title（参考訳）: Adaptive Distributed Kernel Ridge Regression: データサイロのための実用的な分散学習スキーム
- Authors: Di Wang, Xiaotong Liu, Shao-Bo Lin, Ding-Xuan Zhou
- Abstract要約: 本稿では,適応分散カーネルリッジ回帰(AdaDKRR)の開発に焦点をあてる。
パラメータ選択における自律性、非機密情報通信におけるプライバシ、パフォーマンス改善におけるコラボレーションの必要性を考慮に入れます。
数値解析により,AdaDKRRが既存の分散学習方式よりも優れていることを示すために,玩具シミュレーションと実世界の2つの応用の両方でAdaDKRRを検証した。
- 参考スコア（独自算出の注目度）: 26.09858625109044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data silos, mainly caused by privacy and interoperability, significantly
constrain collaborations among different organizations with similar data for
the same purpose. Distributed learning based on divide-and-conquer provides a
promising way to settle the data silos, but it suffers from several challenges,
including autonomy, privacy guarantees, and the necessity of collaborations.
This paper focuses on developing an adaptive distributed kernel ridge
regression (AdaDKRR) by taking autonomy in parameter selection, privacy in
communicating non-sensitive information, and the necessity of collaborations in
performance improvement into account. We provide both solid theoretical
verification and comprehensive experiments for AdaDKRR to demonstrate its
feasibility and effectiveness. Theoretically, we prove that under some mild
conditions, AdaDKRR performs similarly to running the optimal learning
algorithms on the whole data, verifying the necessity of collaborations and
showing that no other distributed learning scheme can essentially beat AdaDKRR
under the same conditions. Numerically, we test AdaDKRR on both toy simulations
and two real-world applications to show that AdaDKRR is superior to other
existing distributed learning schemes. All these results show that AdaDKRR is a
feasible scheme to defend against data silos, which are highly desired in
numerous application regions such as intelligent decision-making, pricing
forecasting, and performance prediction for products.
- Abstract（参考訳）: データサイロは、主にプライバシと相互運用性によって引き起こされ、同じ目的で同様のデータを持つ異なる組織間のコラボレーションを著しく制限します。
分散学習による分散学習は、データサイロの解決に有望な手段を提供するが、自律性、プライバシー保証、コラボレーションの必要性など、いくつかの課題に悩まされている。
本稿では,パラメータ選択における自律性,非機密情報の通信におけるプライバシ,性能改善における協調の必要性を考慮し,適応型分散カーネルリッジ回帰(AdaDKRR)の開発に焦点をあてる。
我々は,AdaDKRRの理論的検証と包括的実験を行い,その実現可能性と有効性を示す。
理論的には、いくつかの穏やかな条件下では、AdaDKRRは、データ全体の最適学習アルゴリズムの実行と同様に、協調の必要性を検証し、同じ条件下では、他の分散学習方式が本質的にAdaDKRRに勝てないことを示す。
数値的にadadkrrをおもちゃシミュレーションと実世界の2つのアプリケーションの両方でテストし、adadkrrは他の分散学習方式よりも優れていることを示した。
これらの結果からadadkrrは、インテリジェントな意思決定、価格予測、製品のパフォーマンス予測など、多くのアプリケーション領域で非常に望まれるデータサイロに対して防御可能なスキームであることが分かる。
関連論文リスト
- Theoretically Guaranteed Distribution Adaptable Learning [23.121014921407898]
分散適応学習(DAL)と呼ばれる新しいフレームワークを提案する。
DALは、進化するデータ分散を効果的に追跡することを可能にする。
進化する分布を調節する上で、DALの再利用性と進化性を高めることができる。
論文 参考訳（メタデータ） (2024-11-05T09:10:39Z) - Deriving Causal Order from Single-Variable Interventions: Guarantees & Algorithm [14.980926991441345]
介入データを含むデータセットは,データ分布に関する現実的な仮定の下で効果的に抽出可能であることを示す。
観察的および介入的設定における各変数の限界分布の比較に依拠する介入忠実性を導入する。
また、多数の単一変数の介入を含むデータセットから因果順序を推測するアルゴリズムであるIntersortを導入する。
論文 参考訳（メタデータ） (2024-05-28T16:07:17Z) - Distributionally Robust Reinforcement Learning with Interactive Data Collection: Fundamental Hardness and Near-Optimal Algorithm [14.517103323409307]
Sim-to-realのギャップは、トレーニングとテスト環境の相違を表している。
この課題に対処するための有望なアプローチは、分布的に堅牢なRLである。
我々は対話型データ収集によるロバストなRLに取り組み、証明可能なサンプル複雑性を保証するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-04T16:40:22Z) - Cross-feature Contrastive Loss for Decentralized Deep Learning on
Heterogeneous Data [8.946847190099206]
異種データに基づく分散学習のための新しい手法を提案する。
一対の隣接するエージェントのクロスフィーチャーは、他のエージェントのモデルパラメータに関するエージェントのデータから得られる特徴である。
実験の結果,提案手法は異種データを用いた分散学習手法に比べて性能(テスト精度が0.2～4%向上)が優れていることがわかった。
論文 参考訳（メタデータ） (2023-10-24T14:48:23Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳（メタデータ） (2020-07-07T18:25:25Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z) - COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。
非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。
我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-01-28T01:05:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。