論文の概要: Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation

• arxiv url: http://arxiv.org/abs/2110.07751v1
• Date: Thu, 14 Oct 2021 22:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 12:57:19.670396
• Title: Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation
• Title（参考訳）: スパース化平均推定における空間的・時間的相関の活用
• Authors: Divyansh Jhunjhunwala, Ankur Mallick, Advait Gadhikar, Swanand Kadhe, Gauri Joshi
• Abstract要約: 本研究では,複数のノードに分散したベクトルの集合の平均を中央サーバで推定する問題について検討する。 我々は、サーバが平均値を推定するために使用する復号法を単純に修正することで、これらの相関を利用する。 そこで本研究では,PCA,K-Means,ロジスティック回帰実験とともに,結果の予測誤差の解析を行う。
• 参考スコア（独自算出の注目度）: 11.602121447683597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of estimating at a central server the mean of a set of vectors distributed across several nodes (one vector per node). When the vectors are high-dimensional, the communication cost of sending entire vectors may be prohibitive, and it may be imperative for them to use sparsification techniques. While most existing work on sparsified mean estimation is agnostic to the characteristics of the data vectors, in many practical applications such as federated learning, there may be spatial correlations (similarities in the vectors sent by different nodes) or temporal correlations (similarities in the data sent by a single node over different iterations of the algorithm) in the data vectors. We leverage these correlations by simply modifying the decoding method used by the server to estimate the mean. We provide an analysis of the resulting estimation error as well as experiments for PCA, K-Means and Logistic Regression, which show that our estimators consistently outperform more sophisticated and expensive sparsification methods.
• Abstract（参考訳）: 本研究では,複数のノードに分散したベクトル群(ノード毎に1ベクトル)の平均を中央サーバで推定する問題を検討する。 ベクトルが高次元の場合、ベクトル全体の送信の通信コストは制限的であり、スパーシフィケーション技術を使うことは必須である。 スパーシファイド平均推定(sparsified mean estimation)に関する既存の研究のほとんどは、データベクトルの特性とは無関係であるが、フェデレーション学習のような多くの実用的な応用では、空間的相関(異なるノードが送信するベクトルの類似性)や時間的相関(アルゴリズムの異なる反復で単一ノードが送信するデータとの類似性)がある。 これらの相関を利用して、サーバが使用する復号法を単純に修正して平均を推定する。 その結果,pca,k-means,ロジスティック回帰実験と同様に推定誤差の解析を行い,推定器がより洗練され高価なスパーシフィケーション法を一貫して上回っていることを示した。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
  マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。 異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
  論文  参考訳（メタデータ） (2023-02-13T18:42:17Z)
• Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
  対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。 固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。 物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
  論文  参考訳（メタデータ） (2023-01-31T16:33:46Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Robust Regularized Locality Preserving Indexing for Fiedler Vector Estimation [32.26669925809068]
  実世界の応用では、データは重い尾のノイズと、フィドラーベクトル推定値の構造の劣化をもたらす外れ値を受けることがある。 我々は、ラプラスベルトラミ作用素の非線形多様体構造を近似することを目的としたFiedlerベクトル推定のためのロバスト正規化局所性保存指数(RRLPI)法を設計する。
  論文  参考訳（メタデータ） (2021-07-26T09:49:23Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Wyner-Ziv Estimators: Efficient Distributed Mean Estimation with Side Information [36.49502352300087]
  本研究では,サーバがサイド情報にアクセス可能な分散平均推定問題について検討する。 本稿では,コミュニケーションと計算効率のよいemphWyner-Ziv推定器を提案する。 異なる方向から、相関サンプリングを用いたWyner-Ziv推定器を提案する。
  論文  参考訳（メタデータ） (2020-11-24T15:19:55Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)
• $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator [95.71091446753414]
  最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。 本手法は既存の不一致対策よりも高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T06:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。