論文の概要: Controlling Dependence in Implicit Generative Models via Spread Mutual Information
- arxiv url: http://arxiv.org/abs/2610.10021v1
- Date: Wed, 07 Oct 2026 13:09:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.929684
- Title: Controlling Dependence in Implicit Generative Models via Spread Mutual Information
- Title（参考訳）: 相互情報の拡散による命令生成モデルの依存性制御
- Abstract要約: 相互情報(MI)は、暗黙的な生成モデルにおける統計的依存を抑えるまたは促進する目的を提供する。
本稿では,共通拡散カーネルを生成変数に適用して得られる雑音レベルを越えたMIの重み付け積分であるSpread Mutual Information (SMI)を紹介する。
- 参考スコア（独自算出の注目度）: 28.75872284751371
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mutual information (MI) provides an objective for suppressing or encouraging statistical dependence in implicit generative models. However, direct MI evaluation is challenging in implicit models due to typically intractable densities. A remedy is estimating the generator gradient from the difference between conditional and marginal scores. This score difference can, in turn, be estimated by differentiating a log density ratio learned through classification. This construction nevertheless faces two difficulties: (i) singular distributions need not admit the required score functions, and (ii) poor overlap can hinder density-ratio estimation. We therefore introduce Spread Mutual Information (SMI), a weighted integral of MI across noise levels obtained by applying a common spreading kernel to the generated variable. Gaussian spreading yields smooth, strictly positive conditional and marginal densities, extending the gradient construction to distributions that may originally be singular. Across a variaty of experiments, SMI consistently achieves effective dependence control among MI-based methods and remains competitive with established task-specific approaches.
- Abstract（参考訳）: 相互情報(MI)は、暗黙的な生成モデルにおける統計的依存を抑えるまたは促進する目的を提供する。
しかし、直接MI評価は一般に難解な密度のため、暗黙のモデルでは困難である。
条件値と限界値の差から発電機勾配を推定する。
このスコア差は、分類によって学習されたログ密度比を微分することにより推定することができる。
しかし、この建設は2つの困難に直面している。
(i)特異分布は必要なスコア関数を許容する必要がなく、
(II)重複度が低いと密度比の推定を妨げかねない。
そこで本研究では,共通拡散カーネルを生成変数に適用することにより得られる雑音レベルを越えたMIの重み付け積分であるSpread Mutual Information (SMI)を導入する。
ガウスの拡散は滑らかで、厳密な条件付きおよび境界密度をもたらし、勾配構造を元々特異であるかもしれない分布にまで拡張する。
実験の範囲で、SMIはMIベースの手法間の効果的な依存制御を一貫して達成し、既存のタスク固有のアプローチと競合し続けている。
関連論文リスト
- Impute-EM: Native Mixed-State Diffusion Models for Heterogeneous Data Imputation [71.74203645336385]
Impute-EMは、現在のモデルとインプットされていないエントリを交換し、完了したデータに拡散バックボーンをリフィットする。
我々は、この更新を特徴付け、観測されたマスクインデクシングされた辺縁線が、その限界で目標と一致していることを示す。
論文 参考訳（メタデータ） (2026-09-14T09:39:13Z) - Augmented Inverse Hybrid Weighting: Robust Inference under Deterministic and Random Distribution Shifts [17.842727239557995]
本稿では,制度的なシフトを考慮に入れた上で,2つの集団法間の非体系的な変化を可能にする新しいモデルを提案する。
このような残留シフトは、学習可能な方法で表現できない確率空間へのランダムな摂動としてモデル化される。
純粋なランダム摂動の下で、この原理は回帰増強と分散-最適データセットレベルプーリングを使用するAIDW(Augmented Inverse Distance Weighting)をもたらす。
AIDWと標準強調重み付けを補間するAIHW(Augmented Inverse Hybrid Weighting)を開発した。
論文 参考訳（メタデータ） (2026-08-01T15:02:13Z) - Distributionally Faithful Imputation via Positive Semi-Definite Kernel Density Estimation [55.47411235954028]
マスク観測による密度推定では,不規則に不規則に不規則な計算を行う。
我々は,ニュートン内点法で解ける閉じた形状の辺縁を持つ凸型経験的リスク問題を得る。
結果のPSDインプットモデルでは、同一の入射密度から単一および多重インプットが得られる。
論文 参考訳（メタデータ） (2026-07-08T15:51:05Z) - Generative Modeling under Non-Monotonic MAR Missingness via Approximate Wasserstein Gradient Flows [6.221876252052772]
MAR(Missing at Random)の値を持つデータセットから完全なデータセットを生成するための原則的反復法を提案する。
FLOWGEMは、観測されたデータ分布と、異なる欠落パターンにおける生成したサンプルの分布との予測KL(Kullback-Leibler)のばらつきを最小化する。
これは、モノトニックなMARメカニズムの挑戦的なケースを含む、さまざまな設定で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-04-06T09:56:08Z) - Flow-Based Density Ratio Estimation for Intractable Distributions with Applications in Genomics [80.05951561886123]
我々は条件認識フローマッチングを利用して、生成軌道に沿った密度比を追跡するための1つの動的定式化を導出する。
クローズドフォーム比推定のためのシミュレーションベンチマーク上での競合性能を実証し,本手法が単一セルゲノミクスデータ解析における多目的タスクをサポートすることを示す。
論文 参考訳（メタデータ） (2026-02-27T17:27:55Z) - MMG: Mutual Information Estimation via the MMSE Gap in Diffusion [25.691925207007795]
相互情報(MI)は、確率変数間の関係を測る最も一般的な方法の1つである。
拡散モデルのデノイングは、密度推定のための新しいバーを最近設定した。
拡散モデルを用いてMIを推定できることを示す。
論文 参考訳（メタデータ） (2025-09-24T23:04:48Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - Uncertainty Estimation and Out-of-Distribution Detection for LiDAR Scene Semantic Segmentation [0.6144680854063939]
新しい環境で安全なナビゲーションを行うには、自動運転車やロボットが環境を正確に解釈する必要がある。
そこで本研究では,分布内(ID)と分布外(OOD)を区別する手法を提案する。
一つの決定論的モデルの特徴空間を用いて、疫学とアレター的不確実性の両方を定量化する。
論文 参考訳（メタデータ） (2024-10-11T10:19:24Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Reducing the Variance of Variational Estimates of Mutual Information by
Limiting the Critic's Hypothesis Space to RKHS [0.0]
相互情報(英: Mutual Information、MI)は、2つの確率変数間の依存性に関する情報理論の尺度である。
近年の手法では、未知密度比を近似するニューラルネットワークとしてパラメトリック確率分布や批判が実現されている。
我々は、高分散特性は、批評家の仮説空間の制御不能な複雑さに起因すると論じる。
論文 参考訳（メタデータ） (2020-11-17T14:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。