Fugu-MT 論文翻訳(概要): Distributed Kernel Ridge Regression with Communications

論文の概要: Distributed Kernel Ridge Regression with Communications

arxiv url: http://arxiv.org/abs/2003.12210v1
Date: Fri, 27 Mar 2020 02:42:43 GMT
ステータス: 処理完了
システム内更新日: 2022-12-19 04:36:44.546307
Title: Distributed Kernel Ridge Regression with Communications
Title（参考訳）: 通信を用いた分散カーネルリッジ回帰
Authors: Shao-Bo Lin, Di Wang, Ding-Xuan Zhou
Abstract要約: 本稿では,学習理論の枠組みにおける分散アルゴリズムの一般化性能解析に着目する。予測における最適学習率を導出し,ローカルプロセッサ数の理論的に最適範囲を提供する。本稿では,DKRRの学習性能を向上させるための通信戦略を提案し,DKRRにおける通信能力を示す。
参考スコア（独自算出の注目度）: 27.754994709225425
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper focuses on generalization performance analysis for distributed algorithms in the framework of learning theory. Taking distributed kernel ridge regression (DKRR) for example, we succeed in deriving its optimal learning rates in expectation and providing theoretically optimal ranges of the number of local processors. Due to the gap between theory and experiments, we also deduce optimal learning rates for DKRR in probability to essentially reflect the generalization performance and limitations of DKRR. Furthermore, we propose a communication strategy to improve the learning performance of DKRR and demonstrate the power of communications in DKRR via both theoretical assessments and numerical experiments.
Abstract（参考訳）: 本稿では,学習理論の枠組みにおける分散アルゴリズムの一般化性能解析に着目する。例えば、分散カーネルリッジ回帰(DKRR)を用いて、予測における最適学習率の導出に成功し、ローカルプロセッサ数の理論的に最適範囲を提供する。また、理論と実験のギャップにより、DKRRの一般化性能と限界を本質的に反映する確率で、DKRRの最適学習率を推定する。さらに、DKRRの学習性能を向上させるための通信戦略を提案し、理論的評価と数値実験の両方を通してDKRRにおける通信能力を示す。

関連論文リスト

An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
論文参考訳（メタデータ） (2024-11-26T07:44:57Z)
Lepskii Principle for Distributed Kernel Ridge Regression [16.389581549801253]
本稿では,分散カーネルリッジ回帰(DKRR)を実現するためのLepskiiの原理を提案する。我々はLep-AdaDKRRの最適学習率を推定し、Lep-AdaDKRRが回帰関数の正則性に適応できることを理論的に示す。
論文参考訳（メタデータ） (2024-09-08T12:12:18Z)
On the Generalization Capability of Temporal Graph Learning Algorithms: Theoretical Insights and a Simpler Method [59.52204415829695]
テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。本稿では,異なるTGLアルゴリズムの一般化能力について検討する。一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
論文参考訳（メタデータ） (2024-02-26T08:22:22Z)
Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-12-18T18:58:42Z)
Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-29T15:00:09Z)
Scalable Optimal Margin Distribution Machine [50.281535710689795]
ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
論文参考訳（メタデータ） (2023-05-08T16:34:04Z)
Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
情報理論AEPに基づく信頼性学習の理論的保証を提供する。次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
論文参考訳（メタデータ） (2022-09-28T17:33:11Z)
A Rationale-Centric Framework for Human-in-the-loop Machine Learning [12.793695970529138]
本稿では,RDL(Ralionales-centric Double-robustness Learning)を用いた新たな理性中心型フレームワークを提案する。 RDLは、有理性(すなわち、予測を引き起こすフレーズ)、人間の介入、半現実的な拡張を利用して、スパイラルな関連性やバイアスモデルを切り離し、一般に適用可能な基礎的分布に向かわせる。
論文参考訳（メタデータ） (2022-03-24T08:12:57Z)
Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文参考訳（メタデータ） (2021-06-07T17:47:16Z)
Millimeter Wave Communications with an Intelligent Reflector: Performance Optimization and Distributional Reinforcement Learning [119.97450366894718]
ミリ波基地局のダウンリンクマルチユーザ通信を最適化するための新しいフレームワークを提案する。チャネル状態情報(CSI)をリアルタイムで計測するために,チャネル推定手法を開発した。最適赤外反射を学習し、ダウンリンク能力の期待を最大化するために、分布強化学習(DRL)手法を提案する。
論文参考訳（メタデータ） (2020-02-24T22:18:54Z)
COKE: Communication-Censored Decentralized Kernel Learning [30.795725108364724]
複数の相互接続エージェントは、大域的目的関数を最小化することにより、再生カーネルヒルベルト空間上で定義された最適決定関数を学習することを目的としている。非パラメトリックなアプローチとして、カーネルの反復学習は分散実装において大きな課題に直面します。我々は,DKLAの通信負荷を低減し,ローカル更新が情報的でない場合を除き,エージェントがすべての一般化で送信することを防止し,通信検閲カーネル学習(COKE)アルゴリズムを開発した。
論文参考訳（メタデータ） (2020-01-28T01:05:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。