論文の概要: Decentralized Kernel Ridge Regression Based on Data-dependent Random Feature

• arxiv url: http://arxiv.org/abs/2405.07791v1
• Date: Mon, 13 May 2024 14:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 13:25:43.143153
• Title: Decentralized Kernel Ridge Regression Based on Data-dependent Random Feature
• Title（参考訳）: データ依存ランダム特徴に基づく分散カーネルリッジ回帰
• Authors: Ruikai Yang, Fan He, Mingzhen He, Jie Yang, Xiaolin Huang,
• Abstract要約: 本稿では,決定関数に対するコンセンサスを追求する分散KRRアルゴリズムを提案する。 6つの実世界のデータセットに対して平均回帰精度を25.5%向上させる。
• 参考スコア（独自算出の注目度）: 25.641345467097388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random feature (RF) has been widely used for node consistency in decentralized kernel ridge regression (KRR). Currently, the consistency is guaranteed by imposing constraints on coefficients of features, necessitating that the random features on different nodes are identical. However, in many applications, data on different nodes varies significantly on the number or distribution, which calls for adaptive and data-dependent methods that generate different RFs. To tackle the essential difficulty, we propose a new decentralized KRR algorithm that pursues consensus on decision functions, which allows great flexibility and well adapts data on nodes. The convergence is rigorously given and the effectiveness is numerically verified: by capturing the characteristics of the data on each node, while maintaining the same communication costs as other methods, we achieved an average regression accuracy improvement of 25.5\% across six real-world data sets.
• Abstract（参考訳）: ランダム機能(RF)は、分散カーネルリッジ回帰(KRR)におけるノードの整合性に広く用いられている。 現在、一貫性は特徴係数に制約を課すことで保証されており、異なるノード上のランダムな特徴が同一である必要がある。 しかし、多くのアプリケーションにおいて、異なるノード上のデータは、異なるRFを生成する適応的およびデータ依存の方法を要求する数や分布によって大きく異なる。 そこで本研究では,決定関数に対するコンセンサスを追求する分散KRRアルゴリズムを提案する。 各ノード上のデータの特徴を捉えることで,他の手法と同じ通信コストを維持しながら,6つの実世界のデータセットの平均回帰精度を25.5\%向上させることに成功した。

関連論文リスト

• ROSS:RObust decentralized Stochastic learning based on Shapley values [21.376454436691795]
  エージェントのグループは、中央サーバーなしで分散データセットを使用してグローバルモデルを学ぶために協力します。 データは非独立に、同一に配布され、ノイズや毒で汚染されることもある。 本稿では,Shapley値に基づく頑健な分散学習アルゴリズム ROSS を提案する。
  論文  参考訳（メタデータ） (2024-11-01T05:05:15Z)
• Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data [17.978941229970886]
  私たちは標準的アプリケーションとしてフェデレートラーニング(FL)に注目します。 FLの主な課題の1つは、ノードとパラメータサーバの間の通信ボトルネックである。 適応型ランダムウォーク学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T19:53:24Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Data Dependent Randomized Smoothing [127.34833801660233]
  データ依存フレームワークは、3つのランダムな平滑化アプローチにシームレスに組み込むことができます。 CIFAR10とImageNetで0.5の半径の最強ベースラインの認定精度よりも9%と6%の改善が得られています。
  論文  参考訳（メタデータ） (2020-12-08T10:53:11Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Robustness and Personalization in Federated Learning: A Unified Approach via Regularization [4.7234844467506605]
  我々は、Fed+と呼ばれる堅牢でパーソナライズされたフェデレーション学習のための一連の方法を提案する。 Fed+の主な利点は、フェデレートトレーニングで見られる現実世界の特徴をよりよく適応することである。 ベンチマークデータセットに関する広範な実験を通じて、Fed+の利点を実証する。
  論文  参考訳（メタデータ） (2020-09-14T10:04:30Z)
• Private Weighted Random Walk Stochastic Gradient Descent [21.23973736418492]
  グラフ内のノードに分散したデータを分散する分散学習環境を考える。 本稿では,データの一様サンプリングと重要サンプリングという2種類のランダムウォークに基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-03T16:52:13Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
  複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。 非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。 我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-01-28T01:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。