論文の概要: PDE+: Enhancing Generalization via PDE with Adaptive Distributional
Diffusion
- arxiv url: http://arxiv.org/abs/2305.15835v1
- Date: Thu, 25 May 2023 08:23:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 16:26:50.882607
- Title: PDE+: Enhancing Generalization via PDE with Adaptive Distributional
Diffusion
- Title（参考訳）: PDE+: 適応分布拡散を用いたPDEによる一般化の促進
- Authors: Yige Yuan, Bingbing Xu, Bo Lin, Liang Hou, Fei Sun, Huawei Shen, Xueqi
Cheng
- Abstract要約: 現在の手法は、主にデータ駆動パラダイムに基づいており、モデル非滑らか性による限定的な一般化に直面する可能性がある。
本稿では、ニューラルネットワークの基盤となる機能を直接拡張することを目的として、部分微分方程式の観点から一般化について検討する。
PDE+ (textbfPDE with textbfAdaptive textbfDistributional textbfDiffusion) は、各サンプルを意味論的に類似した入力をカバーする分布に拡散させる。
- 参考スコア（独自算出の注目度）: 46.43534915382419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generalization of neural networks is a central challenge in machine
learning, especially concerning the performance under distributions that differ
from training ones. Current methods, mainly based on the data-driven paradigm
such as data augmentation, adversarial training, and noise injection, may
encounter limited generalization due to model non-smoothness. In this paper, we
propose to investigate generalization from a Partial Differential Equation
(PDE) perspective, aiming to enhance it directly through the underlying
function of neural networks, rather than focusing on adjusting input data.
Specifically, we first establish the connection between neural network
generalization and the smoothness of the solution to a specific PDE, namely
``transport equation''. Building upon this, we propose a general framework that
introduces adaptive distributional diffusion into transport equation to enhance
the smoothness of its solution, thereby improving generalization. In the
context of neural networks, we put this theoretical framework into practice as
PDE+ (\textbf{PDE} with \textbf{A}daptive \textbf{D}istributional
\textbf{D}iffusion) which diffuses each sample into a distribution covering
semantically similar inputs. This enables better coverage of potentially
unobserved distributions in training, thus improving generalization beyond
merely data-driven methods. The effectiveness of PDE+ is validated in extensive
settings, including clean samples and various corruptions, demonstrating its
superior performance compared to SOTA methods.
- Abstract（参考訳）: ニューラルネットワークの一般化は機械学習における中心的な課題であり、特にトレーニングと異なる分布下でのパフォーマンスについてである。
データ拡張、逆トレーニング、ノイズインジェクションといったデータ駆動パラダイムに基づいた現在の手法は、モデル非スムースネスによる限定的な一般化に遭遇する可能性がある。
本稿では,部分微分方程式(PDE)の観点から一般化を考察し,入力データを調整することではなく,ニューラルネットワークの基盤機能を直接的に拡張することを目的とする。
具体的には、まずニューラルネットワークの一般化と特定のPDE、すなわち「輸送方程式」に対する解の滑らかさの関連性を確立する。
そこで我々は, 輸送方程式に適応分布拡散を導入し, 解の滑らかさを向上し, 一般化を向上する一般フレームワークを提案する。
ニューラルネットワークの文脈では、この理論フレームワークを PDE+ (\textbf{PDE}) と \textbf{A}daptive \textbf{D}istributional \textbf{D}iffusion) で実践し、各サンプルを意味論的に類似した入力をカバーする分布に拡散する。
これにより、トレーニングで観測できない可能性のあるディストリビューションのカバレッジが向上し、単なるデータ駆動型メソッド以上の一般化が改善される。
pde+の有効性は、クリーンサンプルや様々な腐敗を含む広範囲な設定で検証され、soma法よりも優れた性能を示す。
関連論文リスト
- EntAugment: Entropy-Driven Adaptive Data Augmentation Framework for Image Classification [10.334396596691048]
チューニング不要かつ適応的なDAフレームワークであるEntAugmentを提案する。
トレーニング中の各サンプルの増大度を動的に評価し、調整する。
また、EntAugmentアプローチを補完する新しいエントロピー正規化項EntLossを導入する。
論文 参考訳（メタデータ） (2024-09-10T07:42:47Z) - DiffSG: A Generative Solver for Network Optimization with Diffusion Model [75.27274046562806]
拡散生成モデルはより広い範囲の解を考えることができ、学習パラメータによるより強力な一般化を示す。
拡散生成モデルの本質的な分布学習を利用して高品質な解を学習する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-13T07:56:21Z) - DiffusionPDE: Generative PDE-Solving Under Partial Observation [10.87702379899977]
生成拡散モデルを用いて偏微分方程式(PDE)を解くための一般的な枠組みを提案する。
そこで本研究では, 学習した生成先行が, 部分観察下において, 広範囲のPDEを正確に解くための多元的枠組みに導かれることを示す。
論文 参考訳（メタデータ） (2024-06-25T17:48:24Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳（メタデータ） (2024-03-03T23:15:48Z) - DSCom: A Data-Driven Self-Adaptive Community-Based Framework for
Influence Maximization in Social Networks [3.97535858363999]
我々は、属性ネットワーク上の問題を再構成し、ノード属性を利用して接続ノード間の近接性を推定する。
具体的には、この問題に対処するため、DSComという機械学習ベースのフレームワークを提案する。
従来の理論的研究と比較して,実世界のソーシャルネットワークに基づくパラメータ化拡散モデルを用いた実験実験を慎重に設計した。
論文 参考訳（メタデータ） (2023-11-18T14:03:43Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。
我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。
我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文 参考訳（メタデータ） (2021-06-25T16:19:09Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。