論文の概要: Minimal Communication-Cost Statistical Learning

• arxiv url: http://arxiv.org/abs/2406.08193v1
• Date: Wed, 12 Jun 2024 13:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 16:55:44.814602
• Title: Minimal Communication-Cost Statistical Learning
• Title（参考訳）: 最小通信コスト統計学習
• Authors: Milad Sefidgaran, Abdellatif Zaidi, Piotr Krasnowski,
• Abstract要約: 提案手法は,予測外保証の証明が可能な共同トレーニングおよびソース符号化方式を提案する。 圧縮学習モデル$widehatW$とそれ以前の$W$によって引き起こされる条件分布間で、適切なKulback-Leiblerの分岐に制約を課すことにより、平均的経験的リスクを同時に小さくすることを示す。 また,各エンコーダの出力メッセージに対して,経験的リスクと一般化誤差の保証を求めるワンショットシナリオについても検討する。
• 参考スコア（独自算出の注目度）: 14.453654853392619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A client device which has access to $n$ training data samples needs to obtain a statistical hypothesis or model $W$ and then to send it to a remote server. The client and the server devices share some common randomness sequence as well as a prior on the hypothesis space. In this problem a suitable hypothesis or model $W$ should meet two distinct design criteria simultaneously: (i) small (population) risk during the inference phase and (ii) small 'complexity' for it to be conveyed to the server with minimum communication cost. In this paper, we propose a joint training and source coding scheme with provable in-expectation guarantees, where the expectation is over the encoder's output message. Specifically, we show that by imposing a constraint on a suitable Kullback-Leibler divergence between the conditional distribution induced by a compressed learning model $\widehat{W}$ given $W$ and the prior, one guarantees simultaneously small average empirical risk (aka training loss), small average generalization error and small average communication cost. We also consider a one-shot scenario in which the guarantees on the empirical risk and generalization error are obtained for every encoder's output message.
• Abstract（参考訳）: トレーニングデータサンプルに$n$をアクセス可能なクライアントデバイスは、統計的仮説またはモデル$W$を取得し、それをリモートサーバに送信する必要がある。 クライアントとサーバデバイスは、仮説空間の先行と同様に、いくつかの共通乱数列を共有している。 この場合、適切な仮説またはモデル$W$は2つの異なる設計基準を同時に満たすべきである。 一 推測期間中の少人数(人口)リスク及び (ii)最小の通信コストでサーバに転送する「複雑さ」が小さい。 本稿では,エンコーダの出力メッセージが期待されている場合の予測保証を証明可能なインエクスプロメーション保証付き共同トレーニングおよびソース符号化方式を提案する。 具体的には、圧縮学習モデルによって引き起こされる条件分布$\widehat{W}$とそれ以前の$W$との制約を課すことにより、同時に、平均経験的リスク(トレーニング損失)、平均一般化誤差、および最小平均通信コストが保証されることを示す。 また,各エンコーダの出力メッセージに対して,経験的リスクと一般化誤差の保証を求めるワンショットシナリオについても検討する。

関連論文リスト

• Doubly Robust Conditional Independence Testing with Generative Neural Networks [8.323172773256449]
  本稿では、第3の確率ベクトル$Z$を与えられた2つのジェネリックランダムベクトル$X$と$Y$の条件独立性をテストする問題に対処する。 条件分布を明示的に推定しない新しい非パラメトリック試験法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T01:28:59Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Settling the Communication Complexity for Distributed Offline Reinforcement Learning [10.315054389907031]
  オフライン強化学習(RL)において,複数の分散マシンが協調して問題解決を行う新たな環境について検討する。 各マシンが送信できる情報の総数(ビット数)には予算の制約がある。 文脈的包帯における値関数の予測と, エピソード的および非エピソード的MDPの双方に対して, ミニマックスリスクに対する情報理論的下限を確立する。
  論文  参考訳（メタデータ） (2022-02-10T06:27:07Z)
• Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control [67.52000805944924]
  Learn then Test (LTT)は、機械学習モデルを校正するフレームワークである。 私たちの主な洞察は、リスクコントロール問題を複数の仮説テストとして再設計することです。 我々は、コンピュータビジョンの詳細な実例を用いて、コア機械学習タスクの新しいキャリブレーション手法を提供するために、我々のフレームワークを使用します。
  論文  参考訳（メタデータ） (2021-10-03T17:42:03Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)
• Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling [2.599882743586164]
  トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。 実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。 次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
  論文  参考訳（メタデータ） (2020-02-12T18:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。