論文の概要: Fast proxy centers for Jeffreys centroids: The Jeffreys-Fisher-Rao and the inductive Gauss-Bregman centers

• arxiv url: http://arxiv.org/abs/2410.14326v1
• Date: Fri, 18 Oct 2024 09:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:26:03.641034
• Title: Fast proxy centers for Jeffreys centroids: The Jeffreys-Fisher-Rao and the inductive Gauss-Bregman centers
• Title（参考訳）: Jeffreys-Fisher-Raoと誘導型Gauss-Bregman中心の高速プロキシセンター
• Authors: Frank Nielsen,
• Abstract要約: ジェフリーズ・セントロイド(英: Jeffreys centroid)は、測度空間上の互いに絶対連続な確率分布の集合の中心性である。 ジェフリーズ・セントロイドは圏分布や正規分布の集合に対して閉形式では利用できない。 本稿では,新しいジェフリーズ・フィッシャー・ラオ中心とガウス算術幾何学的二重列平均の原理を一般化した新しい帰納的中心を提案する。
• 参考スコア（独自算出の注目度）: 7.070726553564701
• License:
• Abstract: The symmetric Kullback-Leibler centroid also called the Jeffreys centroid of a set of mutually absolutely continuous probability distributions on a measure space provides a notion of centrality which has proven useful in many tasks including information retrieval, information fusion, and clustering in image, video and sound processing. However, the Jeffreys centroid is not available in closed-form for sets of categorical or normal distributions, two widely used statistical models, and thus need to be approximated numerically in practice. In this paper, we first propose the new Jeffreys-Fisher-Rao center defined as the Fisher-Rao midpoint of the sided Kullback-Leibler centroids as a plug-in replacement of the Jeffreys centroid. This Jeffreys-Fisher-Rao center admits a generic formula for uni-parameter exponential family distributions, and closed-form formula for categorical and normal distributions, matches exactly the Jeffreys centroid for same-mean normal distributions, and is experimentally observed in practice to be close to the Jeffreys centroid. Second, we define a new type of inductive centers generalizing the principle of Gauss arithmetic-geometric double sequence mean for pairs of densities of any given exponential family. This center is shown experimentally to approximate very well the Jeffreys centroid and is suggested to use when the Jeffreys-Fisher-Rao center is not available in closed form. Moreover, this Gauss-Bregman inductive center always converges and matches the Jeffreys centroid for sets of same-mean normal distributions. We report on our experiments demonstrating the use of the Jeffreys-Fisher-Rao and Gauss-Bregman centers instead of the Jeffreys centroid. Finally, we conclude this work by reinterpreting these fast proxy centers of Jeffreys centroids under the lens of dually flat spaces in information geometry.
• Abstract（参考訳）: 対称カルバック・リーブル・セントロイド(英: symmetric Kullback-Leibler centroid)あるいはジェフリーズ・セントロイド(英: Jeffreys centroid)と呼ばれる測度空間上の連続確率分布の集合は、情報検索、情報融合、画像、ビデオ、音声処理におけるクラスタリングなど多くのタスクで有用であることが証明された中心性の概念を提供する。 しかし、ジェフリーズ・セントロイドは2つの広く使われている統計モデルである圏分布や正規分布の集合に対して閉形式では利用できないため、実際は数値的に近似する必要がある。 本稿では, ジェフリーズ・フィッシャー・ラオ中心を, 側面のクルバック・リーブラー・セントロイドのフィッシャー・ラオ中間点として定義し, ジェフリーズ・セントロイドのプラグイン交換として提案する。 このJeffreys-Fisher-Rao中心は、一パラメータ指数族分布の一般式と、カテゴリー分布と正規分布の閉形式式を認め、同じ平均正規分布のJeffreys centroidと正確に一致し、実際はJeffreys centroidに近くて実験的に観察される。 第二に、任意の指数族の一対の密度に対してガウス算術幾何学的二重列平均の原理を一般化する新しいタイプの帰納的中心を定義する。 この中心は、ジェフリーズ・セントロイドを非常によく近似するように実験的に示され、ジェフリーズ・フィッシャー・ラオ中心が閉形式では利用できないときに使用されることが示唆されている。 さらに、このガウス・ブレグマン帰納中心は、常に同じ平均正規分布の集合に対してジェフリーズ・セントロイドと収束し一致する。 本稿では,ジェフリーズセンチロイドの代わりにジェフリーズ・フィッシャー・ラオとガウス・ブレグマン・センターを用いた実験について報告する。 最後に、情報幾何学における双平面空間のレンズの下で、ジェフリーズ・セントロイドの高速なプロキシ中心を再解釈することで、この研究を結論付ける。

関連論文リスト

• Estimating Barycenters of Distributions with Neural Optimal Transport [93.28746685008093]
  本稿では,Wasserstein Barycenter問題を解くための新しいスケーラブルなアプローチを提案する。 我々の手法は最近のNeural OTソルバをベースとしている。 また,提案手法の理論的誤差境界も確立する。
  論文  参考訳（メタデータ） (2024-02-06T09:17:07Z)
• A Unified Framework for Gradient-based Clustering of Distributed Data [51.904327888475606]
  我々は,ユーザのネットワーク上で動作する分散クラスタリングアルゴリズムのファミリーを開発する。 DGC-$mathcalF_rho$は、K$-meansやHuber Losといった一般的なクラスタリング損失に特化している。 DGC-$mathcalF_rho$のコンセンサス固定点は、全データ上の勾配クラスタリングの固定点と等価であることを示す。
  論文  参考訳（メタデータ） (2024-02-02T10:44:42Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Riemannian optimization for non-centered mixture of scaled Gaussian distributions [17.855338784378]
  本稿では,スケールしたガウス分布(NC-MSG)の非中心混合の統計モデルについて検討する。 この分布に付随するフィッシャー・ラオ情報幾何を用いて、リーマン勾配降下アルゴリズムを導出する。 近距離セントロイド分類器は、KLの発散とその関連する質量中心を利用して実装される。
  論文  参考訳（メタデータ） (2022-09-07T17:22:20Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Fixed Sub-Center: A Better Way to Capture Data Complexity [1.583842747998493]
  我々は、F-SC(Fixed Sub-Center)を用いて、より離散的なサブセンターを構築することを提案する。 実験の結果,F-SCは画像分類と微粒化処理の精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-03-24T08:21:28Z)
• FedLGA: Towards System-Heterogeneity of Federated Learning via Local Gradient Approximation [21.63719641718363]
  システム不均一なFL問題を定式化してFedLGAと呼ばれる新しいアルゴリズムを提案する。 複数のデータセットに対する総合的な実験の結果、FedLGAはシステム不均一性に対して現在のFLベンチマークよりも優れていた。
  論文  参考訳（メタデータ） (2021-12-22T16:05:09Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)
• Softmax-based Classification is k-means Clustering: Formal Proof, Consequences for Adversarial Attacks, and Improvement through Centroid Based Tailoring [3.0724051098062097]
  我々は,k平均クラスタリングと,ソフトマックスアクティベーション層に基づくニューラルネットワークの予測の関連性を証明する。 ニューラルネットワークの最後の層におけるソフトマックス関数の代替として,Centroid Based Tailoringを提案する。
  論文  参考訳（メタデータ） (2020-01-07T11:47:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。