論文の概要: CF-GO-Net: A Universal Distribution Learner via Characteristic Function Networks with Graph Optimizers
- arxiv url: http://arxiv.org/abs/2409.12610v1
- Date: Thu, 19 Sep 2024 09:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 14:08:12.946302
- Title: CF-GO-Net: A Universal Distribution Learner via Characteristic Function Networks with Graph Optimizers
- Title（参考訳）: CF-GO-Net:グラフ最適化を用いた特徴関数ネットワークによるユニバーサル分散学習
- Authors: Zeyang Yu, Shengxi Li, Danilo Mandic,
- Abstract要約: 本稿では,分布に直接対応する確率的記述子である特徴関数(CF)を用いる手法を提案する。
確率密度関数 (pdf) とは異なり、特徴関数は常に存在するだけでなく、さらなる自由度を与える。
提案手法では,訓練済みのオートエンコーダなどの事前学習モデルを使用することで,特徴空間で直接学習することができる。
- 参考スコア（独自算出の注目度）: 8.816637789605174
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative models aim to learn the distribution of datasets, such as images, so as to be able to generate samples that statistically resemble real data. However, learning the underlying probability distribution can be very challenging and intractable. To this end, we introduce an approach which employs the characteristic function (CF), a probabilistic descriptor that directly corresponds to the distribution. However, unlike the probability density function (pdf), the characteristic function not only always exists, but also provides an additional degree of freedom, hence enhances flexibility in learning distributions. This removes the critical dependence on pdf-based assumptions, which limit the applicability of traditional methods. While several works have attempted to use CF in generative modeling, they often impose strong constraints on the training process. In contrast, our approach calculates the distance between query points in the CF domain, which is an unconstrained and well defined problem. Next, to deal with the sampling strategy, which is crucial to model performance, we propose a graph neural network (GNN)-based optimizer for the sampling process, which identifies regions where the difference between CFs is most significant. In addition, our method allows the use of a pre-trained model, such as a well-trained autoencoder, and is capable of learning directly in its feature space, without modifying its parameters. This offers a flexible and robust approach to generative modeling, not only provides broader applicability and improved performance, but also equips any latent space world with the ability to become a generative model.
- Abstract（参考訳）: 生成モデルは、画像などのデータセットの分布を学習し、統計的に実際のデータに類似したサンプルを生成することを目的としている。
しかし、基礎となる確率分布の学習は非常に困難で難解である。
そこで本研究では,その分布と直接対応する確率的記述子である特徴関数(CF)を用いる手法を提案する。
しかし、確率密度関数(pdf)とは異なり、特徴関数は常に存在するだけでなく、さらなる自由度を与え、学習分布の柔軟性を高める。
これにより、従来のメソッドの適用性を制限するpdfベースの仮定への批判的依存が取り除かれる。
いくつかの研究がCFを生成モデリングに使おうとしているが、訓練プロセスに強い制約を課すことが多い。
対照的に,本手法は制約のない,明確に定義された問題であるCF領域の問合せ点間の距離を計算する。
次に,評価モデルとして重要なサンプリング戦略に対処するため,サンプリングプロセスのためのグラフニューラルネットワーク(GNN)に基づく最適化手法を提案し,CF間の差が最も大きい領域を同定する。
さらに,本手法では,訓練済みのオートエンコーダなどの事前学習モデルを使用することで,パラメータを変更することなく,特徴空間で直接学習することができる。
これは、より広範な適用性と性能向上を提供するだけでなく、生成モデルになる能力を持った潜在空間の世界も備える、フレキシブルで堅牢な生成モデリングアプローチを提供する。
関連論文リスト
- Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。
これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。
提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
論文 参考訳（メタデータ） (2024-08-15T16:47:59Z) - DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。
拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T07:56:21Z) - Bayesian Flow Networks [4.585102332532472]
本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。
単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。
BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
論文 参考訳（メタデータ） (2023-08-14T09:56:35Z) - Consistency Regularization for Generalizable Source-free Domain
Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。
既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。
より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T07:45:53Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Learning Multivariate CDFs and Copulas using Tensor Factorization [39.24470798045442]
データの多変量分布を学習することは、統計学と機械学習における中核的な課題である。
本研究では,多変量累積分布関数(CDF)を学習し,混合確率変数を扱えるようにすることを目的とする。
混合確率変数の合同CDFの任意のグリッドサンプリング版は、単純ベイズモデルとして普遍表現を許容することを示す。
提案モデルの性能を,回帰,サンプリング,データ計算を含むいくつかの合成および実データおよびアプリケーションで実証する。
論文 参考訳（メタデータ） (2022-10-13T16:18:46Z) - A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
論文 参考訳（メタデータ） (2022-02-18T09:35:51Z) - DoLFIn: Distributions over Latent Features for Interpretability [8.807587076209568]
ニューラルネットワークモデルにおける解釈可能性を実現するための新しい戦略を提案する。
我々のアプローチは、確率を中心量として使う成功に基づいている。
DoLFInは解釈可能なソリューションを提供するだけでなく、古典的なCNNやBiLSTMテキスト分類よりも若干優れています。
論文 参考訳（メタデータ） (2020-11-10T18:32:53Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳（メタデータ） (2020-08-19T19:11:25Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳（メタデータ） (2020-03-02T04:31:22Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。