論文の概要: The Representation Jensen-Shannon Divergence

• arxiv url: http://arxiv.org/abs/2305.16446v4
• Date: Wed, 23 Oct 2024 22:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:51.927064
• Title: The Representation Jensen-Shannon Divergence
• Title（参考訳）: ジェンセン・シャノンの多様性の表現
• Authors: Jhoan K. Hoyos-Osorio, Luis G. Sanchez-Giraldo,
• Abstract要約: 確率分布の違いの定量化は機械学習において重要である。 本研究は,従来のジェンセン・シャノン発散に触発された新しい尺度であるジェンセン・シャノン発散(RJSD)の表現を提案する。 本研究は, RJSDが2サンプル試験, 分散シフト検出, 教師なし領域適応において優れていることを示すものである。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Quantifying the difference between probability distributions is crucial in machine learning. However, estimating statistical divergences from empirical samples is challenging due to unknown underlying distributions. This work proposes the representation Jensen-Shannon divergence (RJSD), a novel measure inspired by the traditional Jensen-Shannon divergence. Our approach embeds data into a reproducing kernel Hilbert space (RKHS), representing distributions through uncentered covariance operators. We then compute the Jensen-Shannon divergence between these operators, thereby establishing a proper divergence measure between probability distributions in the input space. We provide estimators based on kernel matrices and empirical covariance matrices using Fourier features. Theoretical analysis reveals that RJSD is a lower bound on the Jensen-Shannon divergence, enabling variational estimation. Additionally, we show that RJSD is a higher-order extension of the maximum mean discrepancy (MMD), providing a more sensitive measure of distributional differences. Our experimental results demonstrate RJSD's superiority in two-sample testing, distribution shift detection, and unsupervised domain adaptation, outperforming state-of-the-art techniques. RJSD's versatility and effectiveness make it a promising tool for machine learning research and applications.
• Abstract（参考訳）: 確率分布の違いの定量化は機械学習において重要である。 しかし、未知の分布のため、経験的なサンプルから統計的分岐を推定することは困難である。 本研究は,従来のジェンセン・シャノン発散に触発された新しい尺度であるジェンセン・シャノン発散(RJSD)の表現を提案する。 提案手法は、非中心共分散作用素による分布を表す再生カーネルヒルベルト空間(RKHS)にデータを埋め込む。 次に,これらの演算子間のJensen-Shannon分散を計算し,入力空間内の確率分布間の適切な分散尺度を確立する。 フーリエ特徴量を用いたカーネル行列と経験的共分散行列に基づく推定器を提供する。 理論的解析により、RJSDはJensen-Shannon分散の低い境界であり、変分推定を可能にすることが明らかになった。 さらに, RJSD は最大平均誤差(MMD)の高次拡張であり, 分布差のより敏感な測定方法であることを示す。 実験により, RJSDが2サンプル試験, 分散シフト検出, 教師なし領域適応において優れており, 最先端技術よりも優れていることが示された。 RJSDの汎用性と有効性は、機械学習の研究とアプリケーションにとって有望なツールである。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Discriminative Estimation of Total Variation Distance: A Fidelity Auditor for Generative Data [10.678533056953784]
  本稿では,2つの分布間の総変動(TV)距離を推定する判別手法を提案する。 本手法は,2つの分布の分類におけるベイズリスクとテレビの距離の関係を定量的に評価する。 分類において、特定の仮説クラスを選択することで、テレビの距離を推定する際の高速収束率が達成できることを実証する。
  論文  参考訳（メタデータ） (2024-05-24T08:18:09Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• R-divergence for Estimating Model-oriented Distribution Discrepancy [37.939239477868796]
  モデル指向分布の相違性を評価するために設計されたR分割を導入する。 R-発散は混合データ上で最小の仮説を学習し、その間に経験的リスク差を測る。 教師なしタスクおよび教師なしタスクにおけるテストパワーの評価を行い、R分割が最先端のパフォーマンスを達成することを確認する。
  論文  参考訳（メタデータ） (2023-10-02T11:30:49Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• The Representation Jensen-Reny\'i Divergence [0.0]
  無限に分割可能なカーネルによって定義されるカーネルヒルベルト空間の再生における演算子に基づくデータ分布間の測度を導入する。 提案手法は,データに基づく確率分布の推定を回避している。
  論文  参考訳（メタデータ） (2021-12-02T19:51:52Z)
• Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
  トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。 本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。 本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
  論文  参考訳（メタデータ） (2021-07-29T17:42:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Non-Asymptotic Performance Guarantees for Neural Estimation of $\mathsf{f}$-Divergences [22.496696555768846]
  統計的距離は確率分布の相似性を定量化する。 このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。 本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
  論文  参考訳（メタデータ） (2021-03-11T19:47:30Z)
• A Convenient Infinite Dimensional Framework for Generative Adversarial Learning [4.396860522241306]
  生成的対角学習のための無限次元理論的枠組みを提案する。 本フレームワークでは, 逆学習手順から生成元が誘導する分布とデータ生成分布とのJensen-Shannon分散が0に収束する。
  論文  参考訳（メタデータ） (2020-11-24T13:45:17Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。