論文の概要: Distribution Regression with Sliced Wasserstein Kernels

• arxiv url: http://arxiv.org/abs/2202.03926v1
• Date: Tue, 8 Feb 2022 15:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 19:45:12.377805
• Title: Distribution Regression with Sliced Wasserstein Kernels
• Title（参考訳）: スライスワッサースタインカーネルによる分布回帰
• Authors: Dimitri Meunier, Massimiliano Pontil and Carlo Ciliberto
• Abstract要約: 分布回帰のための最初のOTに基づく推定器を提案する。 このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
• 参考スコア（独自算出の注目度）: 45.916342378789174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The problem of learning functions over spaces of probabilities - or distribution regression - is gaining significant interest in the machine learning community. A key challenge behind this problem is to identify a suitable representation capturing all relevant properties of the underlying functional mapping. A principled approach to distribution regression is provided by kernel mean embeddings, which lifts kernel-induced similarity on the input domain at the probability level. This strategy effectively tackles the two-stage sampling nature of the problem, enabling one to derive estimators with strong statistical guarantees, such as universal consistency and excess risk bounds. However, kernel mean embeddings implicitly hinge on the maximum mean discrepancy (MMD), a metric on probabilities, which may fail to capture key geometrical relations between distributions. In contrast, optimal transport (OT) metrics, are potentially more appealing, as documented by the recent literature on the topic. In this work, we propose the first OT-based estimator for distribution regression. We build on the Sliced Wasserstein distance to obtain an OT-based representation. We study the theoretical properties of a kernel ridge regression estimator based on such representation, for which we prove universal consistency and excess risk bounds. Preliminary experiments complement our theoretical findings by showing the effectiveness of the proposed approach and compare it with MMD-based estimators.
• Abstract（参考訳）: 確率空間(あるいは分布回帰)における学習関数の問題は、機械学習コミュニティに大きな関心を集めている。 この問題の背後にある重要な課題は、基礎となる機能マッピングのすべての関連する特性をキャプチャする適切な表現を特定することである。 分布回帰に対する原則的アプローチは、カーネル平均埋め込みによって提供され、確率レベルでの入力領域におけるカーネル誘起の類似性を持ち上げる。 この戦略は、問題の2段階サンプリングの性質に効果的に取り組み、普遍的な一貫性や過剰なリスク境界といった強い統計的保証を持つ推定器を導出することができる。 しかし、カーネルは最大平均誤差(MMD)に暗黙的にヒンジを埋め込むことで、分布間の重要な幾何学的関係を捉えられない可能性がある。 対照的に、最適なトランスポート(ot)メトリクスは、トピックに関する最近の文献に記録されているように、潜在的に魅力的である。 本研究では,分布回帰のための最初のotベース推定器を提案する。 Sliced Wasserstein 距離の上に構築し,OT に基づく表現を得る。 このような表現に基づいて,カーネルリッジ回帰推定器の理論的性質を考察し,普遍的一貫性と過大なリスク境界を証明した。 予備実験は,提案手法の有効性を示し,MDDに基づく推定値と比較することによって理論的知見を補完する。

関連論文リスト

• Robust Estimation for Kernel Exponential Families with Smoothed Total Variation Distances [2.317910166616341]
  統計的推測では、標本は独立であり、確率分布から同一に分布していると一般的に仮定する。 本稿では,GAN-like 推定器の一般統計モデルへの応用について検討する。
  論文  参考訳（メタデータ） (2024-10-28T05:50:47Z)
• Domain Generalization with Small Data [27.040070085669086]
  我々は,各データポイントを確率的埋め込みにマッピングすることで,確率的フレームワークに基づくドメイン不変表現を学習する。 提案手法は,分布上のテクスト分布の測定値(大域的視点アライメント)と分布に基づくコントラスト的セマンティックアライメント(コントラスト的セマンティックアライメント)を結合することができる。
  論文  参考訳（メタデータ） (2024-02-09T02:59:08Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Distributionally Robust Skeleton Learning of Discrete Bayesian Networks [9.46389554092506]
  我々は、潜在的に破損したデータから一般的な離散ベイズネットワークの正確なスケルトンを学習する問題を考察する。 本稿では,有界ワッサーシュタイン距離(KL)における分布群に対する最も有害なリスクを,経験的分布へのKL分散を最適化することを提案する。 本稿では,提案手法が標準正規化回帰手法と密接に関連していることを示す。
  論文  参考訳（メタデータ） (2023-11-10T15:33:19Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Keep it Tighter -- A Story on Analytical Mean Embeddings [0.6445605125467574]
  カーネル技術は、データサイエンスにおいて最も人気があり柔軟なアプローチの一つである。 平均埋め込みは、最大平均不一致(MMD)と呼ばれる分岐測度をもたらす。 本稿では,基礎となる分布の1つの平均埋め込みが解析的に利用可能である場合のMDD推定の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2021-10-15T21:29:27Z)
• General stochastic separation theorems with optimal bounds [68.8204255655161]
  分離性の現象が明らかになり、機械学習で人工知能(AI)システムのエラーを修正し、AI不安定性を分析するために使用された。 エラーやエラーのクラスタは、残りのデータから分離することができる。 AIシステムを修正する能力は、それに対する攻撃の可能性も開き、高次元性は、同じ分離性によって引き起こされる脆弱性を誘発する。
  論文  参考訳（メタデータ） (2020-10-11T13:12:41Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。