論文の概要: Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning

• arxiv url: http://arxiv.org/abs/2202.02423v1
• Date: Fri, 4 Feb 2022 22:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 18:49:11.064779
• Title: Improved Information Theoretic Generalization Bounds for Distributed and Federated Learning
• Title（参考訳）: 分散学習のための情報理論一般化境界の改良
• Authors: L. P. Barnes, Alex Dytso, and H. V. Poor
• Abstract要約: ネットワーク環境における学習問題に対する予測一般化誤差に対する情報理論的境界について考察する。 この設定では、K$ノードがあり、それぞれ独自の独立したデータセットを持ち、各ノードのモデルを最終集中モデルに集約する必要がある。 ブレグマン発散やリプシッツ連続損失のような様々な問題に対して期待される一般化誤差について上限を与える。
• 参考スコア（独自算出の注目度）: 13.309105632975644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider information-theoretic bounds on expected generalization error for statistical learning problems in a networked setting. In this setting, there are $K$ nodes, each with its own independent dataset, and the models from each node have to be aggregated into a final centralized model. We consider both simple averaging of the models as well as more complicated multi-round algorithms. We give upper bounds on the expected generalization error for a variety of problems, such as those with Bregman divergence or Lipschitz continuous losses, that demonstrate an improved dependence of $1/K$ on the number of nodes. These "per node" bounds are in terms of the mutual information between the training dataset and the trained weights at each node, and are therefore useful in describing the generalization properties inherent to having communication or privacy constraints at each node.
• Abstract（参考訳）: ネットワーク環境における統計的学習問題に対する予測一般化誤差に対する情報理論的境界について考察する。 この設定では、それぞれ独自のデータセットを持つ$k$ノードがあり、各ノードのモデルは最終的な集中型モデルに集約されなければならない。 モデルの平均化だけでなく,より複雑なマルチラウンドアルゴリズムも検討する。 bregman divergence や lipschitz continuous loss のような様々な問題に対して期待された一般化誤差を上限とし、ノード数に対する 1/k$ の依存度の向上を示す。 これらの"ノード単位"境界は、トレーニングデータセットと各ノードのトレーニングされた重み付けの相互情報の観点から、各ノードに通信やプライバシの制約があることに固有の一般化特性を記述する上で有用である。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Zero-shot Generalist Graph Anomaly Detection with Unified Neighborhood Prompts [21.05107001235223]
  グラフ異常検出(GAD)は、通常のパターンから著しく逸脱したグラフ内のノードを特定することを目的としている。 既存のGADメソッドは、教師付きでも教師なしでも、ワン・モデル・フォー・ワン・データセットのアプローチである。 ゼロショット・ジェネラリストのGADがUNPromptに近づき、一対一検出モデルを訓練する。
  論文  参考訳（メタデータ） (2024-10-18T22:23:59Z)
• Exact Recovery and Bregman Hard Clustering of Node-Attributed Stochastic Block Model [0.16385815610837165]
  本稿では,コミュニティラベルの正確な回復のための情報理論的基準を提案する。 ネットワークと属性情報をどのように交換して正確なリカバリを行うかを示す。 また、共同確率を最大化する反復的クラスタリングアルゴリズムも提示する。
  論文  参考訳（メタデータ） (2023-10-30T16:46:05Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification [33.028354930416754]
  学習目的の局所的トポロジを反映するトポロジ・アウェア・マージン(TAM)を提案する。 提案手法は,ノード分類ベンチマークデータセットのベースラインよりも常に優位性を示す。
  論文  参考訳（メタデータ） (2022-06-26T16:29:36Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Explicit Pairwise Factorized Graph Neural Network for Semi-Supervised Node Classification [59.06717774425588]
  本稿では,グラフ全体を部分的に観測されたマルコフ確率場としてモデル化するEPFGNN(Explicit Pairwise Factorized Graph Neural Network)を提案する。 出力-出力関係をモデル化するための明示的なペアワイズ要素を含み、入力-出力関係をモデル化するためにGNNバックボーンを使用する。 本研究では,グラフ上での半教師付きノード分類の性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2021-07-27T19:47:53Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Generalization Error for Linear Regression under Distributed Learning [0.0]
  未知のノードがノードネットワーク上に分散されている設定について検討する。 本稿では,ノード上の未知のノードの分割に対する一般化誤差の依存性の解析的特徴について述べる。
  論文  参考訳（メタデータ） (2020-04-30T08:49:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。