論文の概要: Tight Bounds on Jensen's Gap: Novel Approach with Applications in Generative Modeling

• arxiv url: http://arxiv.org/abs/2502.03988v1
• Date: Thu, 06 Feb 2025 11:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 15:30:40.731666
• Title: Tight Bounds on Jensen's Gap: Novel Approach with Applications in Generative Modeling
• Title（参考訳）: Jensenのギャップのタイトバウンド:ジェネレーティブ・モデリングにおける新しいアプローチ
• Authors: Marcin Mazur, Piotr Kościelniak, Łukasz Struski,
• Abstract要約: 本稿では,ジェンセンのギャップの上下境界を求める新しい手法を提案する。 対数関数と対数正規分布を詳細に研究することにより、実世界のデータセットで訓練された生成モデルの対数類似度を厳密に推定する方法を探索する。
• 参考スコア（独自算出の注目度）: 0.5325390073522079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Among various mathematical tools of particular interest are those that provide a common basis for researchers in different scientific fields. One of them is Jensen's inequality, which states that the expectation of a convex function is greater than or equal to the function evaluated at the expectation. The resulting difference, known as Jensen's gap, became the subject of investigation by both the statistical and machine learning communities. Among many related topics, finding lower and upper bounds on Jensen's gap (under different assumptions on the underlying function and distribution) has recently become a problem of particular interest. In our paper, we take another step in this direction by providing a novel general and mathematically rigorous technique, motivated by the recent results of Struski et al. (2023). In addition, by studying in detail the case of the logarithmic function and the log-normal distribution, we explore a method for tightly estimating the log-likelihood of generative models trained on real-world datasets. Furthermore, we present both analytical and experimental arguments in support of the superiority of our approach in comparison to existing state-of-the-art solutions, contingent upon fulfillment of the criteria set forth by theoretical studies and corresponding experiments on synthetic data.
• Abstract（参考訳）: 特に興味深い数学の道具には、異なる科学分野の研究者に共通の基礎を提供するものがある。 そのうちの1つはイェンセンの不等式であり、凸函数の期待値が期待値で評価された関数よりも大きいか等しいかを述べる。 イェンセンのギャップと呼ばれる結果の差は、統計学と機械学習の双方のコミュニティによる調査の対象となった。 多くの関連するトピックの中で、Jensenのギャップ(基礎となる関数と分布の異なる仮定の下で)の下位と上位の境界を見つけることは、最近特に関心のある問題となっている。 本稿では,Struski et al (2023) の最近の成果に動機づけられた,新しい汎用的,数学的に厳密な手法を提供することにより,この方向への新たな一歩を踏み出した。 さらに、対数関数と対数正規分布のケースを詳細に研究することにより、実世界のデータセットで訓練された生成モデルの対数類似度を厳密に推定する方法を探索する。 さらに,既存の最先端ソリューションと比較して,我々のアプローチの優位性を支持するための分析的および実験的な議論,理論的研究による基準の履行,および合成データに対する対応する実験について述べる。

関連論文リスト

• Comparing Generative Models with the New Physics Learning Machine [0.0]
  大規模かつ高次元のレシエーションでは、機械学習は標準的な統計技術の限界を超える一連のツールを提供する。 この主張は、高エネルギー物理文献であるニュー物理学習マシン(New Physics Learning Machine)から、分類に基づく2サンプルテストを行うための提案を比較して、この主張を裏付けるものである。 本稿では,本手法の効率トレードオフと,学習に基づくアプローチの導入による計算コストについて述べる。
  論文  参考訳（メタデータ） (2025-08-04T10:42:52Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Seeing Unseen: Discover Novel Biomedical Concepts via Geometry-Constrained Probabilistic Modeling [53.7117640028211]
  同定された問題を解決するために,幾何制約付き確率的モデリング処理を提案する。 構成された埋め込み空間のレイアウトに適切な制約を課すために、重要な幾何学的性質のスイートを組み込む。 スペクトルグラフ理論法は、潜在的な新規クラスの数を推定するために考案された。
  論文  参考訳（メタデータ） (2024-03-02T00:56:05Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Divergences induced by dual subtractive and divisive normalizations of exponential families and their convex deformations [7.070726553564701]
  指数関数の確率密度間のスキュード・バタチャリヤ距離は累積関数によって誘導されるスキュード・ジェンセン発散量であることを示す。 次に、擬算術的手段の対に対する比較凸性は、凸函数とそれらの引数の両方を変形させることができることを示す。
  論文  参考訳（メタデータ） (2023-12-20T08:59:05Z)
• An analysis of Universal Differential Equations for data-driven discovery of Ordinary Differential Equations [7.48176340790825]
  我々は、普通微分方程式(ODE)発見の文脈で、UDEフレームワークをテストすることで貢献する。 データ駆動型アプローチと数値解法を組み合わせる際の問題をいくつか取り上げる。 我々は,物理インフォームド・機械学習フレームワークの能力と限界を調査する上で,我々の分析は重要な貢献であると考えている。
  論文  参考訳（メタデータ） (2023-06-17T12:26:50Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• The Representation Jensen-Shannon Divergence [0.0]
  確率分布の違いの定量化は機械学習において重要である。 本研究は,従来のジェンセン・シャノン発散に触発された新しい尺度であるジェンセン・シャノン発散(RJSD)の表現を提案する。 本研究は, RJSDが2サンプル試験, 分散シフト検出, 教師なし領域適応において優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-05-25T19:44:36Z)
• Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
  我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。 CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
  論文  参考訳（メタデータ） (2023-01-31T02:31:18Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• A Unifying Framework for Some Directed Distances in Statistics [0.0]
  密度に基づく有向距離(特に発散距離)は統計学で広く使われている。 本稿では、密度ベースと分布関数ベースの分散アプローチの両方を網羅する一般的なフレームワークを提供する。 我々は、有望な相互情報の代替として、確率変数間の依存の新たな概念を導出する。
  論文  参考訳（メタデータ） (2022-03-02T04:24:13Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• BayesIMP: Uncertainty Quantification for Causal Data Fusion [52.184885680729224]
  本研究では,複数の因果グラフに関連するデータセットを組み合わせ,対象変数の平均処理効果を推定する因果データ融合問題について検討する。 本稿では、確率積分とカーネル平均埋め込みのアイデアを組み合わせて、再生されたカーネルヒルベルト空間における干渉分布を表現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-07T10:14:18Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• Marginal likelihood computation for model selection and hypothesis testing: an extensive review [66.37504201165159]
  この記事では、このトピックの最先端に関する総合的な研究について紹介する。 さまざまなテクニックの制限、メリット、コネクション、差異を強調します。 また、不適切な事前利用の問題や解決法についても述べる。
  論文  参考訳（メタデータ） (2020-05-17T18:31:58Z)
• A Survey on Causal Inference [64.45536158710014]
  因果推論は統計学、コンピュータ科学、教育、公共政策、経済学など、多くの分野において重要な研究トピックである。 観測データに対する様々な因果効果推定法が誕生した。
  論文  参考訳（メタデータ） (2020-02-05T21:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。