論文の概要: On Distributed Learning with Constant Communication Bits
- arxiv url: http://arxiv.org/abs/2109.06388v1
- Date: Tue, 14 Sep 2021 01:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-15 15:26:56.204997
- Title: On Distributed Learning with Constant Communication Bits
- Title（参考訳）: 一定通信ビットを用いた分散学習について
- Authors: Xiangxiang Xu, Shao-Lun Huang
- Abstract要約: 本研究では,一定の通信ビットに制約された分散学習問題について検討する。
最適誤差指数を達成するために、観測されたデータ列の経験的分布を考えるのに十分であることを示す。
- 参考スコア（独自算出の注目度）: 4.638577919819304
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we study a distributed learning problem constrained by
constant communication bits. Specifically, we consider the distributed
hypothesis testing (DHT) problem where two distributed nodes are constrained to
transmit a constant number of bits to a central decoder. In such cases, we show
that in order to achieve the optimal error exponents, it suffices to consider
the empirical distributions of observed data sequences and encode them to the
transmission bits. With such a coding strategy, we develop a geometric approach
in the distribution spaces and characterize the optimal schemes. In particular,
we show the optimal achievable error exponents and coding schemes for the
following cases: (i) both nodes can transmit $\log_23$ bits; (ii) one of the
nodes can transmit $1$ bit, and the other node is not constrained; (iii) the
joint distribution of the nodes are conditionally independent given one
hypothesis. Furthermore, we provide several numerical examples for illustrating
the theoretical results. Our results provide theoretical guidance for designing
practical distributed learning rules, and the developed approach also reveals
new potentials for establishing error exponents for DHT with more general
communication constraints.
- Abstract（参考訳）: 本稿では,一定の通信ビットに制約された分散学習問題について検討する。
具体的には、2つの分散ノードが一定数のビットを中央デコーダに送信することを制約する分散仮説テスト(DHT)問題を考察する。
このような場合、最適誤差指数を達成するために、観測されたデータ列の経験的分布を考慮し、それらを伝送ビットに符号化することが十分であることを示す。
このような符号化戦略を用いて,分布空間における幾何学的アプローチを開発し,最適スキームを特徴付ける。
特に、以下の事例に対して、最適達成可能なエラー指数と符号化スキームを示す。
(i)両方のノードは$\log_23$bitを送信できる。
(ii) 1つのノードが1ドルビットを送信でき、もう1つのノードは制約されない。
3) ノードの合同分布は1つの仮説から条件的に独立である。
さらに,理論結果を示す数値例をいくつか提示する。
本研究は,分散学習の実践的ルールを設計するための理論的ガイダンスを提供するとともに,より一般的な通信制約を持つDHTの誤り指数を確立するための新たな可能性を明らかにする。
関連論文リスト
- Generative Conditional Distributions by Neural (Entropic) Optimal Transport [12.152228552335798]
本稿では,条件分布の生成モデル学習を目的とした,ニューラルエントロピー最適輸送手法を提案する。
提案手法は,2つのニューラルネットワークのミニマックストレーニングに依存する。
実世界のデータセットを用いた実験では,現状条件分布学習法と比較して,アルゴリズムの有効性が示された。
論文 参考訳（メタデータ） (2024-06-04T13:45:35Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
平均フィールドゲームフレームワークにネットワーク通信を導入する。
当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
論文 参考訳（メタデータ） (2023-06-05T10:45:39Z) - Simple Binary Hypothesis Testing under Local Differential Privacy and
Communication Constraints [8.261182037130407]
局所差分プライバシー (LDP) と通信制約の両面から, 単純な二分仮説テストについて検討する。
我々はその結果をミニマックス最適かインスタンス最適かのどちらかとみなす。
論文 参考訳（メタデータ） (2023-01-09T18:36:49Z) - Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
論文 参考訳（メタデータ） (2022-10-24T12:05:17Z) - Characterizing and Understanding the Generalization Error of Transfer
Learning with Gibbs Algorithm [10.851348154870854]
本稿では,ギブスに基づく移動学習アルゴリズムの一般化能力に関する情報理論解析を行う。
本稿では,2段階のトランスファー学習アプローチである$alpha$-weightedERMと2段階ERMに着目した。
論文 参考訳（メタデータ） (2021-11-02T14:49:48Z) - Non-Asymptotic Error Bounds for Bidirectional GANs [10.62911757343557]
ダドリー距離下での双方向GAN(BiGAN)推定誤差に対して,ほぼ鋭い境界を求める。
これは、双方向GAN学習アプローチに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2021-10-24T00:12:03Z) - Asymptotics of Network Embeddings Learned via Subsampling [4.23373349945751]
本研究では,ノード2vecのようなサブサンプリング手法を用いて,単一の統一フレームワークへの表現手法について検討する。
これは、埋め込みベクトルが何を表現し、これらのメソッドが下流のタスクでいかにうまく機能するかを理解するための理論的基盤を提供する。
特に、一般的に使用される損失関数は、Fisher整合性の欠如などの欠点を引き起こす可能性があることを観察する。
論文 参考訳（メタデータ） (2021-07-06T02:54:53Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳（メタデータ） (2020-03-02T04:31:22Z) - Joint Wasserstein Distribution Matching [89.86721884036021]
JDM問題(Joint Distribution matching)は、2つのドメインの関節分布を一致させるために双方向マッピングを学習することを目的としており、多くの機械学習およびコンピュータビジョンアプリケーションで発生している。
2つの領域における関節分布のワッサーシュタイン距離を最小化することにより、JDM問題に対処することを提案する。
そこで我々は,難解な問題を簡単な最適化問題に還元する重要な定理を提案し,その解法を開発した。
論文 参考訳（メタデータ） (2020-03-01T03:39:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。