論文の概要: Conditional Distribution Compression via the Kernel Conditional Mean Embedding
- arxiv url: http://arxiv.org/abs/2504.10139v1
- Date: Mon, 14 Apr 2025 11:53:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:53:52.822076
- Title: Conditional Distribution Compression via the Kernel Conditional Mean Embedding
- Title（参考訳）: カーネル条件付き平均埋め込みによる条件分布圧縮
- Authors: Dominic Broadbent, Nick Whiteley, Robert Allison, Tom Lovett,
- Abstract要約: Kernel Herding (KH) のような既存の分散圧縮法は、元来、ラベルのないデータのために開発された。
本稿では,条件分布を比較するための自然な指標である平均条件平均離散性(AMCMD)を紹介する。
我々はKHのアイデアを拡張して,AMCMDを対象とする圧縮集合を構成する線形時間グリードアルゴリズムであるAverage Conditional Kernel Herding (ACKH)を開発した。
- 参考スコア（独自算出の注目度）: 2.9873893715462185
- License:
- Abstract: Existing distribution compression methods, like Kernel Herding (KH), were originally developed for unlabelled data. However, no existing approach directly compresses the conditional distribution of labelled data. To address this gap, we first introduce the Average Maximum Conditional Mean Discrepancy (AMCMD), a natural metric for comparing conditional distributions. We then derive a consistent estimator for the AMCMD and establish its rate of convergence. Next, we make a key observation: in the context of distribution compression, the cost of constructing a compressed set targeting the AMCMD can be reduced from $\mathcal{O}(n^3)$ to $\mathcal{O}(n)$. Building on this, we extend the idea of KH to develop Average Conditional Kernel Herding (ACKH), a linear-time greedy algorithm that constructs a compressed set targeting the AMCMD. To better understand the advantages of directly compressing the conditional distribution rather than doing so via the joint distribution, we introduce Joint Kernel Herding (JKH), a straightforward adaptation of KH designed to compress the joint distribution of labelled data. While herding methods provide a simple and interpretable selection process, they rely on a greedy heuristic. To explore alternative optimisation strategies, we propose Joint Kernel Inducing Points (JKIP) and Average Conditional Kernel Inducing Points (ACKIP), which jointly optimise the compressed set while maintaining linear complexity. Experiments show that directly preserving conditional distributions with ACKIP outperforms both joint distribution compression (via JKH and JKIP) and the greedy selection used in ACKH. Moreover, we see that JKIP consistently outperforms JKH.
- Abstract（参考訳）: Kernel Herding (KH) のような既存の分散圧縮法は、元来、ラベルのないデータのために開発された。
しかし、ラベル付きデータの条件分布を直接圧縮するアプローチは存在しない。
このギャップに対処するために、まず、条件分布を比較するための自然な計量である平均条件平均離散(AMCMD)を導入する。
次に、AMCMDに対する一貫した推定器を導出し、収束率を確立する。
次に、分配圧縮の文脈では、AMCMDをターゲットにした圧縮セットを構築するコストは、$\mathcal{O}(n^3)$から$\mathcal{O}(n)$に削減できる。
これに基づいて、我々はKHのアイデアを拡張して、AMCMDを対象とする圧縮セットを構築する線形時間グリードアルゴリズムであるAverage Conditional Kernel Herding (ACKH)を開発した。
共同分布ではなく条件分布を直接圧縮する利点をよりよく理解するために,ラベル付きデータの連成分布を圧縮するKHの直接適応であるJoint Kernel Herding (JKH)を導入する。
ハーディング法は単純で解釈可能な選択過程を提供するが、それらは欲張りのヒューリスティックに依存している。
線形複雑度を維持しながら圧縮された集合を共同最適化する,JKIP(Joint Kernel Inducing Points)とACKIP(Average Conditional Kernel Inducing Points)を提案する。
実験により、ACKIPによる条件分布の保存は、(JKHとJKIPを介して)関節分布圧縮とACKHで使用される欲求選択の両方に優れることが示された。
さらに、JKIPは一貫してJKHより優れています。
関連論文リスト
- Posterior Conformal Prediction [11.576645675675096]
コンフォーマル予測は、分布のないカバレッジ保証を伴う予測区間を構築するための一般的な手法である。
本稿では,境界条件と近似条件の双方で予測間隔を生成する手法として,後続コンフォメーション予測(PCP)を提案する。
社会経済・科学・医療分野の多様なデータセットを対象としたPCPの性能評価を行った。
論文 参考訳（メタデータ） (2024-09-29T14:09:07Z) - Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。
本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。
結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
論文 参考訳（メタデータ） (2023-07-16T04:23:57Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳（メタデータ） (2022-09-26T16:41:16Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳（メタデータ） (2021-11-30T02:13:54Z) - A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。
カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。
有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-06-18T08:33:45Z) - Arbitrary Conditional Distributions with Energy [11.081460215563633]
より一般的で有用な問題は任意の条件密度推定である。
本稿では, 分布$p(mathbfx_umid mathbfx_o)$を同時に推定できる新しい手法であるArbitrary Conditioning with Energy (ACE)を提案する。
また,1次元条件のみを学習することで学習問題を単純化し,推論中により複雑な分布を復元する。
論文 参考訳（メタデータ） (2021-02-08T18:36:26Z) - Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC)
半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。
我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文 参考訳（メタデータ） (2020-07-13T02:52:18Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z) - Domain Adaptation Regularization for Spectral Pruning [44.060724281001775]
ドメイン適応(DA)は、ラベル付きソースディストリビューションで学んだ知識を、おそらくラベルなしのターゲットディストリビューションに転送することで、この問題に対処する。
提案手法は,DA設定における既存の圧縮手法よりも高い圧縮率を示す。
本研究は1つの特定の圧縮法に基づくものであるが、DA設定における圧縮を改善するための一般的なガイドラインについても概説する。
論文 参考訳（メタデータ） (2019-12-26T12:38:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。