論文の概要: Communication-Efficient Distributed Cooperative Learning with Compressed
Beliefs
- arxiv url: http://arxiv.org/abs/2102.07767v1
- Date: Sun, 14 Feb 2021 06:19:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 15:09:20.388087
- Title: Communication-Efficient Distributed Cooperative Learning with Compressed
Beliefs
- Title（参考訳）: 圧縮信念を用いたコミュニケーション効率の高い分散協調学習
- Authors: Mohammad Taha Toghani, Cesar A. Uribe
- Abstract要約: 本研究では,一群のエージェントが一連の仮説に同意しようとする分散協調学習の課題について考察する。
仮説の集合が大きくなるシナリオでは、エージェントが任意の正の圧縮率で圧縮された(疎あるいは量子化された)信念を共有できる信念更新ルールを提案する。
- 参考スコア（独自算出の注目度）: 0.8702432681310401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the problem of distributed cooperative learning, where a group of
agents seek to agree on a set of hypotheses that best describes a sequence of
private observations. In the scenario where the set of hypotheses is large, we
propose a belief update rule where agents share compressed (either sparse or
quantized) beliefs with an arbitrary positive compression rate. Our algorithm
leverages a unified and straightforward communication rule that enables agents
to access wide-ranging compression operators as black-box modules. We prove the
almost sure asymptotic exponential convergence of beliefs around the set of
optimal hypotheses. Additionally, we show a non-asymptotic, explicit, and
linear concentration rate in probability of the beliefs on the optimal
hypothesis set. We provide numerical experiments to illustrate the
communication benefits of our method. The simulation results show that the
number of transmitted bits can be reduced to 5-10% of the non-compressed method
in the studied scenarios.
- Abstract（参考訳）: 我々は分散協調学習の問題を研究する。エージェントのグループは、プライベートな観察のシーケンスを最もよく記述する仮説のセットに同意しようとします。
仮説の集合が大きくなるシナリオでは、エージェントが任意の正の圧縮率で圧縮された(疎あるいは量子化された)信念を共有できる信念更新ルールを提案する。
私たちのアルゴリズムは、エージェントがブラックボックスモジュールとして広範囲の圧縮演算子にアクセスできるようにする統一された簡単な通信ルールを利用します。
最適な仮説の集合の周りの信念の漸近的指数収束をほぼ確実に証明する。
さらに, 最適仮説集合上の信念の確率において, 非漸近的, 明示的, 線形集中率を示す。
提案手法の通信効果を説明するための数値実験を行った。
シミュレーションの結果, 実験シナリオでは, 送信ビット数は非圧縮方式の5～10%に削減できることがわかった。
関連論文リスト
- Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。
帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。
本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。
第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
論文 参考訳（メタデータ） (2024-08-03T13:37:40Z) - Sequential Manipulation Against Rank Aggregation: Theory and Algorithm [119.57122943187086]
脆弱なデータ収集プロセスに対するオンライン攻撃を活用します。
ゲーム理論の観点からは、対決シナリオは分布的に堅牢なゲームとして定式化される。
提案手法は,ランクアグリゲーション手法の結果を逐次的に操作する。
論文 参考訳（メタデータ） (2024-07-02T03:31:21Z) - Probabilistic Conformal Prediction with Approximate Conditional Validity [81.30551968980143]
本研究では,共形手法の柔軟性と条件分布の推定を組み合わせ,予測セットを生成する手法を開発した。
我々の手法は、条件付きカバレッジの観点から既存の手法よりも一貫して優れています。
論文 参考訳（メタデータ） (2024-07-01T20:44:48Z) - Optimal Multi-Distribution Learning [88.3008613028333]
マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。
本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-08T16:06:29Z) - Intervention Generalization: A View from Factor Graph Models [7.117681268784223]
操作されたシステムの分布の因子化に関する最小限の仮定に基づいて、過去の実験から新しい条件への飛躍をいかに保証するかを詳しく検討する。
仮定された$textitinterventional Factor Model$ (IFM) は必ずしも情報であるとは限らないが、不測のコンバウンディングとフィードバックのメカニズムを明示的にモデル化する必要性を便利に抽象化する。
論文 参考訳（メタデータ） (2023-06-06T21:44:23Z) - Data Association Aware POMDP Planning with Hypothesis Pruning
Performance Guarantees [7.928094304325113]
あいまいなデータアソシエーションによるプランニングのためのプルーニングに基づくアプローチを導入する。
我々の重要な貢献は、仮説の完全な集合に基づく値関数と仮説のプルーンド・サブセットに基づく値関数とのバウンダリを導出することである。
我々は,これらの境界が,ふりかえりにおけるプルーニングの証明にどのように使用できるかを実証し,その損失に対する事前定義された限界を確保するために,どの仮説がプルーンであるかを決定する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-03-03T18:35:01Z) - Communication-Efficient Distributed Estimation and Inference for Cox's Model [4.731404257629232]
我々は, 高次元のスパースコックス比例ハザードモデルにおいて, 推定と推定のための通信効率のよい反復分散アルゴリズムを開発した。
高次元ハザード回帰係数の線形結合に対する信頼区間を構築するために,新しい縮退法を提案する。
我々は、デコラートスコアテストに基づく任意の座標要素に対して、有効かつ強力な分散仮説テストを提供する。
論文 参考訳（メタデータ） (2023-02-23T15:50:17Z) - Compression, Generalization and Learning [3.045851438458641]
圧縮関数は、観測セットを縮小されたサイズのサブセットにスリム化する写像である。
複数の応用において、1つの新しい観測によって圧縮された集合が変化するという条件は、この観測が余分な情報をもたらすと解釈される。
本稿では,圧縮の変化の確率を制御できる新しい理論の基礎を定めている。
論文 参考訳（メタデータ） (2023-01-30T10:27:45Z) - Generalised Likelihood Ratio Testing Adversaries through the
Differential Privacy Lens [69.10072367807095]
微分プライバシー(DP)は、最適な敵の能力に厳格な上限を提供する。
我々は,NPO(Neyman-Pearson-Pearson-Pearson-Pearson-Pearson-Pearson)対GLRT(Generalized Likelihood Test)対向の仮定を緩和する。
この緩やかな緩和は、プライバシー保証の改善につながる。
論文 参考訳（メタデータ） (2022-10-24T08:24:10Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Distributed Inference with Sparse and Quantized Communication [7.155594644943642]
ネットワーク内のエージェントが未知の状態によって生成されたプライベート信号のストリームを観測する分散推論の問題を考察する。
本研究では,各仮説に対する低信念を拡散する原理に基づく,イベントトリガー型分散学習ルールを開発する。
逐次量子化器の範囲を精製することにより、各エージェントは1ドルビットで各仮説の信念を符号化しながら、ほぼ確実に指数関数的に真理を学習できることを示す。
論文 参考訳（メタデータ） (2020-04-02T23:08:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。