Fugu-MT 論文翻訳(概要): Lepskii Principle for Distributed Kernel Ridge Regression

論文の概要: Lepskii Principle for Distributed Kernel Ridge Regression

arxiv url: http://arxiv.org/abs/2409.05070v1
Date: Sun, 8 Sep 2024 12:12:18 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 19:30:04.042214
Title: Lepskii Principle for Distributed Kernel Ridge Regression
Title（参考訳）: 分散型カーネルリッジ回帰のためのLepskii原理
Authors: Shao-Bo Lin,
Abstract要約: 本稿では,分散カーネルリッジ回帰(DKRR)を実現するためのLepskiiの原理を提案する。我々はLep-AdaDKRRの最適学習率を推定し、Lep-AdaDKRRが回帰関数の正則性に適応できることを理論的に示す。
参考スコア（独自算出の注目度）: 16.389581549801253
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Parameter selection without communicating local data is quite challenging in distributed learning, exhibing an inconsistency between theoretical analysis and practical application of it in tackling distributively stored data. Motivated by the recently developed Lepskii principle and non-privacy communication protocol for kernel learning, we propose a Lepskii principle to equip distributed kernel ridge regression (DKRR) and consequently develop an adaptive DKRR with Lepskii principle (Lep-AdaDKRR for short) by using a double weighted averaging synthesization scheme. We deduce optimal learning rates for Lep-AdaDKRR and theoretically show that Lep-AdaDKRR succeeds in adapting to the regularity of regression functions, effective dimension decaying rate of kernels and different metrics of generalization, which fills the gap of the mentioned inconsistency between theory and application.
Abstract（参考訳）: ローカルデータを通信しないパラメータ選択は、分散学習において非常に困難であり、分散的に格納されたデータに対処する理論解析とそれの実践的応用の矛盾を排除している。最近開発されたLepskii原則とカーネル学習のための非プライバシ通信プロトコルにより、分散カーネルリッジレグレッション(DKRR)を装備するLepskii原則を提案し、その結果、二重重み付け平均合成スキームを用いてLepskii原則(略してLep-AdaDKRR)を用いた適応DKRRを開発する。我々はLep-AdaDKRRの最適学習率を推定し、Lep-AdaDKRRが回帰関数の正則性、実効次元減衰率、および一般化の異なる指標に適応することに成功することを示す。

関連論文リスト

An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
論文参考訳（メタデータ） (2024-11-26T07:44:57Z)
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文参考訳（メタデータ） (2023-12-29T04:15:58Z)
A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文参考訳（メタデータ） (2023-11-13T01:48:08Z)
Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T15:00:09Z)
Scalable Optimal Margin Distribution Machine [50.281535710689795]
ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
論文参考訳（メタデータ） (2023-05-08T16:34:04Z)
Self-supervised Representation Learning with Relative Predictive Coding [102.93854542031396]
Relative Predictive Coding(RPC)は、新しいコントラスト表現学習目標である。 RPCは、トレーニング安定性、ミニバッチサイズ感度、ダウンストリームタスクパフォーマンスのバランスが良好である。ベンチマークビジョンと音声自己教師型学習タスクにおけるRPCの有効性を実証的に検証する。
論文参考訳（メタデータ） (2021-03-21T01:04:24Z)
Distributionally Robust Federated Averaging [19.875176871167966]
適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
論文参考訳（メタデータ） (2021-02-25T03:32:09Z)
CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文参考訳（メタデータ） (2020-09-28T09:49:38Z)
Distributed Kernel Ridge Regression with Communications [27.754994709225425]
本稿では,学習理論の枠組みにおける分散アルゴリズムの一般化性能解析に着目する。予測における最適学習率を導出し,ローカルプロセッサ数の理論的に最適範囲を提供する。本稿では,DKRRの学習性能を向上させるための通信戦略を提案し,DKRRにおける通信能力を示す。
論文参考訳（メタデータ） (2020-03-27T02:42:43Z)
Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。上記のプロパティをすべて享受する既存のメソッドはありません。本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
論文参考訳（メタデータ） (2020-02-25T15:12:15Z)
COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-01-28T01:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。