論文の概要: Communication-Efficient Distributed Cooperative Learning with Compressed Beliefs

• arxiv url: http://arxiv.org/abs/2102.07767v1
• Date: Sun, 14 Feb 2021 06:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:09:20.388087
• Title: Communication-Efficient Distributed Cooperative Learning with Compressed Beliefs
• Title（参考訳）: 圧縮信念を用いたコミュニケーション効率の高い分散協調学習
• Authors: Mohammad Taha Toghani, Cesar A. Uribe
• Abstract要約: 本研究では,一群のエージェントが一連の仮説に同意しようとする分散協調学習の課題について考察する。 仮説の集合が大きくなるシナリオでは、エージェントが任意の正の圧縮率で圧縮された(疎あるいは量子化された)信念を共有できる信念更新ルールを提案する。
• 参考スコア（独自算出の注目度）: 0.8702432681310401
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of distributed cooperative learning, where a group of agents seek to agree on a set of hypotheses that best describes a sequence of private observations. In the scenario where the set of hypotheses is large, we propose a belief update rule where agents share compressed (either sparse or quantized) beliefs with an arbitrary positive compression rate. Our algorithm leverages a unified and straightforward communication rule that enables agents to access wide-ranging compression operators as black-box modules. We prove the almost sure asymptotic exponential convergence of beliefs around the set of optimal hypotheses. Additionally, we show a non-asymptotic, explicit, and linear concentration rate in probability of the beliefs on the optimal hypothesis set. We provide numerical experiments to illustrate the communication benefits of our method. The simulation results show that the number of transmitted bits can be reduced to 5-10% of the non-compressed method in the studied scenarios.
• Abstract（参考訳）: 我々は分散協調学習の問題を研究する。エージェントのグループは、プライベートな観察のシーケンスを最もよく記述する仮説のセットに同意しようとします。 仮説の集合が大きくなるシナリオでは、エージェントが任意の正の圧縮率で圧縮された(疎あるいは量子化された)信念を共有できる信念更新ルールを提案する。 私たちのアルゴリズムは、エージェントがブラックボックスモジュールとして広範囲の圧縮演算子にアクセスできるようにする統一された簡単な通信ルールを利用します。 最適な仮説の集合の周りの信念の漸近的指数収束をほぼ確実に証明する。 さらに, 最適仮説集合上の信念の確率において, 非漸近的, 明示的, 線形集中率を示す。 提案手法の通信効果を説明するための数値実験を行った。 シミュレーションの結果, 実験シナリオでは, 送信ビット数は非圧縮方式の5～10%に削減できることがわかった。

関連論文リスト

• Data Association Aware POMDP Planning with Hypothesis Pruning Performance Guarantees [7.928094304325113]
  あいまいなデータアソシエーションによるプランニングのためのプルーニングに基づくアプローチを導入する。 我々の重要な貢献は、仮説の完全な集合に基づく値関数と仮説のプルーンド・サブセットに基づく値関数とのバウンダリを導出することである。 我々は,これらの境界が,ふりかえりにおけるプルーニングの証明にどのように使用できるかを実証し,その損失に対する事前定義された限界を確保するために,どの仮説がプルーンであるかを決定する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-03-03T18:35:01Z)
• Communication-Efficient Distributed Estimation and Inference for Cox's Model [1.5254598796939924]
  我々は, 高次元のスパースコックス比例ハザードモデルにおいて, 推定と推定のための通信効率のよい反復分散アルゴリズムを開発した。 高次元ハザード回帰係数の線形結合に対する信頼区間を構築するために,新しい縮退法を提案する。 我々は、デコラートスコアテストに基づく任意の座標要素に対して、有効かつ強力な分散仮説テストを提供する。
  論文  参考訳（メタデータ） (2023-02-23T15:50:17Z)
• Compression, Generalization and Learning [0.0]
  圧縮関数は、観測セットを縮小されたサイズのサブセットにスリム化する写像である。 複数の応用において、1つの新しい観測によって圧縮された集合が変化するという条件は、この観測が余分な情報をもたらすと解釈される。 我々は、圧縮の変化の確率を制御できる新しい理論の基礎を定めている。
  論文  参考訳（メタデータ） (2023-01-30T10:27:45Z)
• Generalised Likelihood Ratio Testing Adversaries through the Differential Privacy Lens [69.10072367807095]
  微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。 我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。 この緩やかな緩和は、プライバシー保証の改善につながる。
  論文  参考訳（メタデータ） (2022-10-24T08:24:10Z)
• Communication-constrained hypothesis testing: Optimality, robustness, and reverse data processing inequalities [6.939768185086755]
  通信制約下での単純な二項仮説テストのサンプルの複雑さは、少なくとも制約のない設定よりも大きい対数係数であることが示される。 我々のフレームワークは、分布が全変動距離で破壊されるような頑健な仮説テストにまで拡張する。
  論文  参考訳（メタデータ） (2022-06-06T17:42:11Z)
• Plinko: A Theory-Free Behavioral Measure of Priors for Statistical Learning and Mental Model Updating [62.997667081978825]
  Plinko(リンク)は,参加者が利用可能なすべての結果に対してボール滴の分布を推定する行動課題である。 対象者は,確率分布の確率分布を中心にクラスタリングし,事前クラスタメンバシップは学習能力を示す可能性があることを示す。 我々は,個々の参加者が信頼できる表現であり,物理的に不可解な球滴分布に直面した場合,学習が阻害されないことを検証した。
  論文  参考訳（メタデータ） (2021-07-23T22:27:30Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• On Localized Discrepancy for Domain Adaptation [146.4580736832752]
  本稿では,局所化後の仮説空間上で定義される局所的不一致について検討する。 2つの領域を交換すると、それらの値が異なるため、非対称な移動困難が明らかになる。
  論文  参考訳（メタデータ） (2020-08-14T08:30:02Z)
• Empirically Verifying Hypotheses Using Reinforcement Learning [58.09414653169534]
  本稿では,仮説検証をRL問題として定式化する。 我々は、世界の力学に関する仮説を前提として、仮説が真か偽かを予測するのに役立つ観測結果を生成することができるエージェントを構築することを目指している。
  論文  参考訳（メタデータ） (2020-06-29T01:01:10Z)
• Distributed Inference with Sparse and Quantized Communication [7.155594644943642]
  ネットワーク内のエージェントが未知の状態によって生成されたプライベート信号のストリームを観測する分散推論の問題を考察する。 本研究では,各仮説に対する低信念を拡散する原理に基づく,イベントトリガー型分散学習ルールを開発する。 逐次量子化器の範囲を精製することにより、各エージェントは1ドルビットで各仮説の信念を符号化しながら、ほぼ確実に指数関数的に真理を学習できることを示す。
  論文  参考訳（メタデータ） (2020-04-02T23:08:51Z)
• Almost-Matching-Exactly for Treatment Effect Estimation under Network Interference [73.23326654892963]
  本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。 本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
  論文  参考訳（メタデータ） (2020-03-02T15:21:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。