論文の概要: Density Sketches for Sampling and Estimation
- arxiv url: http://arxiv.org/abs/2102.12301v1
- Date: Wed, 24 Feb 2021 14:30:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 13:37:05.332306
- Title: Density Sketches for Sampling and Estimation
- Title(参考訳): サンプリングと推定のための密度スケッチ
- Authors: Aditya Desai, Benjamin Coleman, Anshumali Shrivastava
- Abstract要約: 密度スケッチ(DS)は、データの分布の簡潔なオンライン要約である。
DSはポイント・ワイズ確率密度を正確に推定できる。
DSはまた、基礎となるデータ分布から未確認の新規データをサンプリングする機能を提供する。
- 参考スコア(独自算出の注目度): 34.82698569399961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Density sketches (DS): a succinct online summary of the data
distribution. DS can accurately estimate point wise probability density.
Interestingly, DS also provides a capability to sample unseen novel data from
the underlying data distribution. Thus, analogous to popular generative models,
DS allows us to succinctly replace the real-data in almost all machine learning
pipelines with synthetic examples drawn from the same distribution as the
original data. However, unlike generative models, which do not have any
statistical guarantees, DS leads to theoretically sound asymptotically
converging consistent estimators of the underlying density function. Density
sketches also have many appealing properties making them ideal for large-scale
distributed applications. DS construction is an online algorithm. The sketches
are additive, i.e., the sum of two sketches is the sketch of the combined data.
These properties allow data to be collected from distributed sources,
compressed into a density sketch, efficiently transmitted in the sketch form to
a central server, merged, and re-sampled into a synthetic database for modeling
applications. Thus, density sketches can potentially revolutionize how we
store, communicate, and distribute data.
- Abstract(参考訳): データ配信の簡潔なオンライン要約である密度スケッチ(DS)を紹介します。
DSはポイント・ワイズ確率密度を正確に推定できる。
興味深いことに、DSは基礎となるデータ分布から目に見えない新しいデータをサンプリングする機能も提供します。
したがって、一般的なジェネレーションモデルと同様に、DSは、ほぼすべての機械学習パイプラインのリアルタイムデータを、元のデータと同じ分布から引き出された合成サンプルに簡潔に置き換えることができます。
しかし、統計的な保証を持たない生成モデルとは異なり、dsは理論的に漸近的に収束する密度関数の一貫した推定子となる。
密度スケッチは多くの魅力的な特性を持ち、大規模分散アプリケーションに最適である。
DS構築はオンラインアルゴリズムである。
スケッチは付加的であり、2つのスケッチの合計は結合されたデータのスケッチである。
これらの特性により、データは分散ソースから収集され、密度スケッチに圧縮され、スケッチ形式で効率よく中央サーバに送信され、統合され、アプリケーションモデリングのための合成データベースに再サンプリングされる。
したがって、密度スケッチはデータの保存、通信、配布の方法に革命をもたらす可能性がある。
関連論文リスト
- Deep Generative Data Assimilation in Multimodal Setting [0.1052166918701117]
本研究では,マルチモーダル・セッティングにおけるスコアベースラテント・アシミレーション(SLAMS)を提案する。
気象観測所のデータと衛星画像とを同化して、垂直温度分布を世界規模で校正する。
私たちの研究は、実世界のデータセットを用いたマルチモーダルデータ同化に、初めて深層生成フレームワークを適用しました。
論文 参考訳(メタデータ) (2024-04-10T00:25:09Z) - Unveiling the Sampling Density in Non-Uniform Geometric Graphs [69.93864101024639]
グラフを幾何学グラフとみなす: ノードは基礎となる計量空間からランダムにサンプリングされ、その距離が指定された近傍半径以下であれば任意のノードが接続される。
ソーシャルネットワークでは、コミュニティは密集したサンプル領域としてモデル化でき、ハブはより大きな近傍半径を持つノードとしてモデル化できる。
我々は,未知のサンプリング密度を自己監督的に推定する手法を開発した。
論文 参考訳(メタデータ) (2022-10-15T08:01:08Z) - SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth
Sampling [75.957103837167]
1枚のスケッチ画像に基づいて3次元形状を再構成することは、スパースで不規則なスケッチと正規の高密度な3次元形状との間に大きな領域ギャップがあるため困難である。
既存の作品では、3D座標を直接予測するためにスケッチから抽出されたグローバルな特徴を活用しようとするが、通常は入力スケッチに忠実でない細部を失う。
論文 参考訳(メタデータ) (2022-08-14T16:37:51Z) - Deconvolutional Density Network: Free-Form Conditional Density
Estimation [6.805003206706124]
ニューラルネットワークを使用して、出力分布を明示的に計算することができる。
我々はデコンボリューションを用いた自由形式分布のモデル化の利点を示す。
我々は,本手法を他の多くの密度推定手法と比較した。
論文 参考訳(メタデータ) (2021-05-29T20:09:25Z) - Sketch and Scale: Geo-distributed tSNE and UMAP [75.44887265789056]
地理的に分散したデータセット上で機械学習分析を実行することは、急速に発生する問題である。
私たちはSketch and Scale(SnS)という新しいフレームワークを紹介します。
これはCount Sketchデータ構造を利用して、エッジノード上のデータを圧縮し、マスターノード上の縮小サイズスケッチを集約し、サマリ上でバニラtSNEまたはUMAPを実行する。
我々は、この技術が完全に並列で、線形に時間にスケールし、メモリに対数的に分散し、通信し、世界中の複数のデータセンターにまたがる数百万、数十億のデータポイントでデータセットを解析できることを示す。
論文 参考訳(メタデータ) (2020-11-11T22:32:21Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳(メタデータ) (2020-09-01T15:08:23Z) - LaDDer: Latent Data Distribution Modelling with a Generative Prior [21.27563489899532]
変分オートエンコーダフレームワークにおける遅延データ分布の正確なモデリングを実現するため,LaDDerを提案する。
LaDDerはメタ埋め込みの概念で、複数のVAEモデルを使用して埋め込みの埋め込みを学ぶ。
本稿では,LaDDerモデルを用いて複雑な潜伏分布を正確に推定し,表現品質の向上を図っている。
論文 参考訳(メタデータ) (2020-08-31T20:10:01Z) - A One-Pass Private Sketch for Most Machine Learning Tasks [48.17461258268463]
差別化プライバシ(DP)は、正式な証明可能な保証を通じて、プライバシとユーティリティのトレードオフを説明する魅力的なプライバシ定義である。
本稿では,回帰,分類,密度推定など,多数の機械学習タスクをサポートするプライベートスケッチを提案する。
このスケッチは,局所性に敏感なハッシュをインデックス化して,効率的なワンパスアルゴリズムで構築したランダムな一致テーブルで構成されている。
論文 参考訳(メタデータ) (2020-06-16T17:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。