論文の概要: A Theory for Conditional Generative Modeling on Multiple Data Sources

• arxiv url: http://arxiv.org/abs/2502.14583v1
• Date: Thu, 20 Feb 2025 14:13:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:01.788508
• Title: A Theory for Conditional Generative Modeling on Multiple Data Sources
• Title（参考訳）: 複数音源の条件付き生成モデルの一理論
• Authors: Rongzhen Wang, Yan Zhang, Chenyu Zheng, Chongxuan Li, Guoqiang Wu,
• Abstract要約: 本稿では,条件付き生成モデルにおけるマルチソース学習の厳密な分析に向けての第一歩を踏み出す。 この結果から,ソース分布が類似点を共有し,モデルが十分に表現可能である場合,マルチソーストレーニングは単一ソーストレーニングよりもシャープなバウンドを保証できることがわかった。
• 参考スコア（独自算出の注目度）: 20.539424639329564
• License:
• Abstract: The success of large generative models has driven a paradigm shift, leveraging massive multi-source data to enhance model capabilities. However, the interaction among these sources remains theoretically underexplored. This paper takes the first step toward a rigorous analysis of multi-source training in conditional generative modeling, where each condition represents a distinct data source. Specifically, we establish a general distribution estimation error bound in average total variation distance for conditional maximum likelihood estimation based on the bracketing number. Our result shows that when source distributions share certain similarities and the model is expressive enough, multi-source training guarantees a sharper bound than single-source training. We further instantiate the general theory on conditional Gaussian estimation and deep generative models including autoregressive and flexible energy-based models, by characterizing their bracketing numbers. The results highlight that the number of sources and similarity among source distributions improve the advantage of multi-source training. Simulations and real-world experiments validate our theory. Code is available at: \url{https://github.com/ML-GSAI/Multi-Source-GM}.
• Abstract（参考訳）: 大規模な生成モデルの成功は、モデル機能を強化するために大規模なマルチソースデータを活用するパラダイムシフトを駆り立てた。 しかし、これらの情報源間の相互作用は理論的には未解明のままである。 本稿では,各条件が異なるデータソースを表す条件生成モデルにおいて,マルチソース学習の厳密な分析に向けて第一歩を踏み出す。 具体的には、ブラケット数に基づいて条件付き最大推定のための平均総変量距離で有界な分布推定誤差を確立する。 この結果から,ソース分布が類似点を共有し,モデルが十分に表現可能である場合,マルチソーストレーニングは単一ソーストレーニングよりもシャープなバウンドを保証できることがわかった。 さらに, 条件付きガウス推定に関する一般理論と, 自己回帰モデルとフレキシブルエネルギーベースモデルを含む深部生成モデルについて, ブラケット数の特徴付けにより検討する。 その結果,ソース数とソース分布の類似性により,マルチソーストレーニングの利点が向上した。 シミュレーションと実世界の実験は、我々の理論を検証する。 コードは以下の通り。 \url{https://github.com/ML-GSAI/Multi-Source-GM}。

関連論文リスト

• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• CONTRAST: Continual Multi-source Adaptation to Dynamic Distributions [42.293444710522294]
  Continual Multi-source Adaptation to Dynamic Distributions (CONTRAST) は、複数のソースモデルを最適に組み合わせて動的テストデータに適応する新しい手法である。 提案手法は,ソースモデルを最適に組み合わせ,モデル更新の優先順位付けを最小限に行うことができることを示す。
  論文  参考訳（メタデータ） (2024-01-04T22:23:56Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Bayesian predictive modeling of multi-source multi-way data [0.0]
  初期鉄欠乏症 (ID) の予測因子として, 複数のオミクス源から得られた分子データについて検討した。 係数に低ランク構造を持つ線形モデルを用いて多方向依存を捕捉する。 本モデルでは, 誤分類率と推定係数と真の係数との相関から, 期待通りの性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-08-05T21:58:23Z)
• Distributional Reinforcement Learning for Multi-Dimensional Reward Functions [91.88969237680669]
  多次元分布DQN(MD3QN)を導入し、複数の報酬源からの共振分布をモデル化する。 関節分布モデリングの副産物として、MD3QNは各報酬源に対するリターンのランダム性を捉えることができる。 実験では,リッチな相関型報酬関数を持つ環境下での連立戻り分布を精度良くモデル化した。
  論文  参考訳（メタデータ） (2021-10-26T11:24:23Z)
• Transfer Learning with Multi-source Data: High-dimensional Inference for Group Distributionally Robust Models [0.0]
  マルチソースデータによる学習はモデル一般化可能性の向上に役立ち、多くの重要な統計問題に不可欠なものである。 本稿では,マルチソースデータに対する複数の高次元回帰モデルについて考察する。 我々は,高次元マクシミン効果に対する有効信頼区間を構築するための新しいDenseNetサンプリング手法を考案した。
  論文  参考訳（メタデータ） (2020-11-15T16:15:10Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。