論文の概要: Information Theory with Kernel Methods

• arxiv url: http://arxiv.org/abs/2202.08545v1
• Date: Thu, 17 Feb 2022 09:42:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:51:46.516479
• Title: Information Theory with Kernel Methods
• Title（参考訳）: カーネル法による情報理論
• Authors: Francis Bach (SIERRA)
• Abstract要約: これらの作用素のフォン・ノイマンエントロピーと相対エントロピーは、シャノンエントロピーと相対エントロピーの通常の概念と密接に関連していることを示す。 確率分布の様々なオーラクルから効率的な推定アルゴリズムが組み合わさっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the analysis of probability distributions through their associated covariance operators from reproducing kernel Hilbert spaces. We show that the von Neumann entropy and relative entropy of these operators are intimately related to the usual notions of Shannon entropy and relative entropy, and share many of their properties. They come together with efficient estimation algorithms from various oracles on the probability distributions. We also consider product spaces and show that for tensor product kernels, we can define notions of mutual information and joint entropies, which can then characterize independence perfectly, but only partially conditional independence. We finally show how these new notions of relative entropy lead to new upper-bounds on log partition functions, that can be used together with convex optimization within variational inference methods, providing a new family of probabilistic inference methods.
• Abstract（参考訳）: 生成カーネルヒルベルト空間からの共分散演算子による確率分布の解析について考察する。 これらの作用素のフォン・ノイマンエントロピーと相対エントロピーは、シャノンエントロピーと相対エントロピーの通常の概念と密接に関連しており、それらの性質の多くを共有している。 確率分布の様々なオーラクルから効率的な推定アルゴリズムが組み合わさっている。 また、積空間を考察し、テンソル積核に対して、相互情報と合同エントロピーの概念を定義できることを示した。 最終的に、これらの新しい相対エントロピーの概念が、変分推論手法における凸最適化と併用し、新しい確率的推論手法のファミリーを提供する、ログ分割関数上の新しい上界につながることを示す。

関連論文リスト

• Conditioning of Banach Space Valued Gaussian Random Variables: An Approximation Approach Based on Martingales [8.81121308982678]
  ガウス確率変数として有意な2つのバナッハ空間の条件分布について検討する。 それらの手段と共分散は、マルティンゲールアプローチに基づく一般的な有限次元近似スキームによって決定されることを示す。
  論文  参考訳（メタデータ） (2024-04-04T13:57:44Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Towards Entanglement Entropy of Random Large-N Theories [0.0]
  レプリカ手法とシフトした松原周波数の概念を用いて、フォン・ノイマンとレーニエンタングルメントエントロピーを計算する。 本稿では,デコヒーレンスの存在下での2地点問題の事例に適用することで,手法の柔軟性を実証する。
  論文  参考訳（メタデータ） (2023-03-03T18:21:54Z)
• Gaussian Processes on Distributions based on Regularized Optimal Transport [2.905751301655124]
  最適正則輸送の双対定式化に基づく確率測度空間上の新しいカーネルを提案する。 この構成がヒルベルトノルムを用いて有効なカーネルを得ることを可能にすることを証明している。 このカーネルに基づくガウス過程の挙動に関する理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-10-12T20:30:23Z)
• Sum-of-Squares Relaxations for Information Theory and Variational Inference [0.0]
  シャノン相対エントロピーの拡張($f$-divergences)を考える。 これらの分岐を計算するための凸緩和列を導出する。 我々は、量子情報理論から発せられるスペクトル情報に基づいて、より効率的な緩和を提供する。
  論文  参考訳（メタデータ） (2022-06-27T13:22:40Z)
• Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
  パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。 変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2022-04-20T21:25:21Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• R\'enyi divergence inequalities via interpolation, with applications to generalised entropic uncertainty relations [91.3755431537592]
  量子R'enyiエントロピー量、特に'サンドウィッチ'の発散量について検討する。 我々は、R'enyi相互情報分解規則、R'enyi条件エントロピー三部類連鎖規則に対する新しいアプローチ、より一般的な二部類比較を示す。
  論文  参考訳（メタデータ） (2021-06-19T04:06:23Z)
• Entropy and relative entropy from information-theoretic principles [24.74754293747645]
  すべての相対エントロピーは、次数 0$ と $infty$ の R'enyi 分岐の間にある必要がある。 我々の主な結果は、エントロピーと相対エントロピーの1対1対応である。
  論文  参考訳（メタデータ） (2020-06-19T14:50:44Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)
• Profile Entropy: A Fundamental Measure for the Learnability and Compressibility of Discrete Distributions [63.60499266361255]
  離散分布のサンプルに対して、プロファイルエントロピーは推定、推論、圧縮の概念を統一する基本的な尺度であることを示す。 具体的には、プロファイルエントロピー a) は、最適自然推定器に対する分布を推定する速度を決定する; b) 任意のラベル不変分布コレクションに対する最適推定器と比較して全ての対称特性を推定する速度を特徴付ける; c) プロファイル圧縮の限界として機能する。
  論文  参考訳（メタデータ） (2020-02-26T17:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。