論文の概要: Exploring Image Generation via Mutually Exclusive Probability Spaces and Local Correlation Hypothesis
- arxiv url: http://arxiv.org/abs/2506.21731v2
- Date: Mon, 22 Sep 2025 22:05:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 16:16:25.698771
- Title: Exploring Image Generation via Mutually Exclusive Probability Spaces and Local Correlation Hypothesis
- Title(参考訳): 相互排他確率空間による画像生成の探索と局所相関仮説
- Authors: Chenqiu Zhao, Anup Basu,
- Abstract要約: 画像生成のための確率的生成モデルにおける一般的な仮定は、グローバルなデータ分布の学習がサンプリングによって新しい画像を生成するのに十分であるということである。
我々は,この中核的な仮定の限界,すなわちグローバルな分布の学習が生成行動よりも記憶に繋がるということを考察する。
- 参考スコア(独自算出の注目度): 9.946694131713611
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common assumption in probabilistic generative models for image generation is that learning the global data distribution suffices to generate novel images via sampling. We investigate the limitation of this core assumption, namely that learning global distributions leads to memorization rather than generative behavior. We propose two theoretical frameworks, the Mutually Exclusive Probability Space (MEPS) and the Local Dependence Hypothesis (LDH), for investigation. MEPS arises from the observation that deterministic mappings (e.g. neural networks) involving random variables tend to reduce overlap coefficients among involved random variables, thereby inducing exclusivity. We further propose a lower bound in terms of the overlap coefficient, and introduce a Binary Latent Autoencoder (BL-AE) that encodes images into signed binary latent representations. LDH formalizes dependence within a finite observation radius, which motivates our $\gamma$-Autoregressive Random Variable Model ($\gamma$-ARVM). $\gamma$-ARVM is an autoregressive model, with a variable observation range $\gamma$, that predicts a histogram for the next token. Using $\gamma$-ARVM, we observe that as the observation range increases, autoregressive models progressively shift toward memorization. In the limit of global dependence, the model behaves as a pure memorizer when operating on the binary latents produced by our BL-AE. Comprehensive experiments and discussions support our investigation.
- Abstract(参考訳): 画像生成のための確率的生成モデルにおける一般的な仮定は、グローバルなデータ分布の学習がサンプリングによって新しい画像を生成するのに十分であるということである。
我々は,この中核的な仮定の限界,すなわちグローバルな分布の学習が生成行動よりも記憶に繋がるということを考察する。
本稿では,Mutually Exclusive Probability Space (MEPS) とLocal Dependence hypothesis (LDH) の2つの理論的枠組みを提案する。
MEPSは、確率変数を含む決定論的写像(例えばニューラルネットワーク)は、関連する確率変数間の重なり係数を減少させ、排他性を引き起こす傾向があるという観察から生じる。
さらに、重なり係数の観点から下位境界を提案し、符号付きバイナリ潜在表現に画像をエンコードするバイナリ潜在オートエンコーダ(BL-AE)を導入する。
LDHは有限半径内で依存を形式化し、これは我々の$\gamma$-Autoregressive Random Variable Model(\gamma$-ARVM)を動機付けている。
$\gamma$-ARVMは自動回帰モデルであり、変数観測範囲$\gamma$は次のトークンのヒストグラムを予測する。
我々は$\gamma$-ARVMを用いて、観測範囲が大きくなるにつれて自己回帰モデルが徐々に記憶へと移行していくことを観察する。
地球依存の限界では、BL-AEが生成する二元系潜伏剤を動作させるとき、モデルは純粋な記憶器として振る舞う。
総合的な実験と議論が我々の調査を支持している。
関連論文リスト
- Counterfactual Explanations in Medical Imaging: Exploring SPN-Guided Latent Space Manipulation [2.9810923705287524]
医用画像解析において、深層学習モデルは顕著な性能を示した。
可変オートエンコーダ(VAE)のような深い生成モデルは、大きな生成能力を示す。
和積ネットワーク(SPN)のような確率モデルは、複雑な結合確率分布を効率的に表す。
論文 参考訳(メタデータ) (2025-07-25T15:19:32Z) - Spatial Reasoning with Denoising Models [49.83744014336816]
本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。
初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。
これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
論文 参考訳(メタデータ) (2025-02-28T14:08:30Z) - Learning Mixtures of Experts with EM: A Mirror Descent Perspective [28.48469221248906]
古典的なMixtures of Experts(MoE)は、入力空間を含む機械学習モデルであり、各パーティションでトレーニングされた個別の"エキスパート"モデルである。
我々は,MoEモデルのトレーニングにおける期待最大化(EM)アルゴリズムの理論的保証について検討する。
論文 参考訳(メタデータ) (2024-11-09T03:44:09Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳(メタデータ) (2024-04-24T09:04:36Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - General Identifiability and Achievability for Causal Representation
Learning [33.80247458590611]
本稿では,潜伏因果グラフにおけるノード毎の2つのハードアンカップリング介入を用いて,識別可能性と達成性を評価する。
同定可能性について,未結合の介入の下で潜伏因果モデルと変数の完全回復が保証されることを示す。
さらに、この分析は、2つのハードカップリングされた介入に対して、同一ノードが介在する2つの環境に関するメタデータが知られている場合に、識別可能性の結果を回復する。
論文 参考訳(メタデータ) (2023-10-24T01:47:44Z) - Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。
提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。
合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
論文 参考訳(メタデータ) (2023-10-03T20:37:03Z) - Prototype-based Aleatoric Uncertainty Quantification for Cross-modal
Retrieval [139.21955930418815]
クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。
しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。
本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T09:41:19Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Improving Neural Additive Models with Bayesian Principles [54.29602161803093]
ニューラル加算モデル(NAM)は、個別の加算サブネットワークでキャリブレーションされた入力特徴を扱うことにより、ディープニューラルネットワークの透明性を高める。
本研究では,Laplace-approximated NAM (LA-NAMs) を開発した。
論文 参考訳(メタデータ) (2023-05-26T13:19:15Z) - Unsupervised representation learning with recognition-parametrised
probabilistic models [12.865596223775649]
認識パラメータモデル(RPM)に基づく確率的教師なし学習の新しいアプローチを提案する。
観測が条件独立であるというキー前提の下では、RPMはパラメトリックな事前条件付き潜時分布と非パラメトリックな観測因子を結合する。
RPMは、動物と人工知能の両方にとって重要な機能である観測データの基礎となる有意義な潜在構造を発見する強力なフレームワークを提供する。
論文 参考訳(メタデータ) (2022-09-13T00:33:21Z) - Causal Discovery in Heterogeneous Environments Under the Sparse
Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。
実際、この仮定は環境間の分散シフトによってほとんど常に破られる。
そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文 参考訳(メタデータ) (2022-06-04T15:39:30Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳(メタデータ) (2020-11-18T07:59:55Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with
Application to Disk Shape Analysis from Lumbar Spine MRI Images [1.5841288368322592]
本稿では,あいまいさの表現を学習し,確率的出力を生成するための強力な生成モデルを提案する。
我々のモデルは、CQ-VAE (Coordinate Quantization Variational Autoencoder) と呼ばれ、内部の離散確率分布を持つ離散潜在空間を用いている。
マッチングアルゴリズムを用いて、モデル生成サンプルと「地下構造」サンプルの対応性を確立する。
論文 参考訳(メタデータ) (2020-10-17T04:25:32Z) - Generative Model without Prior Distribution Matching [26.91643368299913]
変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。
我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
論文 参考訳(メタデータ) (2020-09-23T09:33:24Z) - Uncertainty Inspired RGB-D Saliency Detection [70.50583438784571]
本稿では,データラベリングプロセスから学習することで,RGB-D値検出の不確実性を利用した最初のフレームワークを提案する。
そこで本研究では,確率的RGB-Dサリエンシ検出を実現するために,サリエンシデータラベリングプロセスにインスパイアされた生成アーキテクチャを提案する。
6つの挑戦的RGB-Dベンチマークデータセットの結果から,サリエンシマップの分布を学習する際のアプローチの優れた性能が示された。
論文 参考訳(メタデータ) (2020-09-07T13:01:45Z) - Manifold GPLVMs for discovering non-Euclidean latent structure in neural
data [5.949779668853555]
神経科学における一般的な問題は、行動的に重要な変数の集合的神経表現を解明することである。
本稿では,新しい確率潜在変数モデルを提案し,各ニューロンがその表現に寄与する潜在状態を同時に同定する。
論文 参考訳(メタデータ) (2020-06-12T19:08:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。