論文の概要: PDE+: Enhancing Generalization via PDE with Adaptive Distributional
Diffusion
- arxiv url: http://arxiv.org/abs/2305.15835v2
- Date: Fri, 15 Dec 2023 05:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 19:37:33.270304
- Title: PDE+: Enhancing Generalization via PDE with Adaptive Distributional
Diffusion
- Title(参考訳): PDE+: 適応分布拡散を用いたPDEによる一般化の促進
- Authors: Yige Yuan, Bingbing Xu, Bo Lin, Liang Hou, Fei Sun, Huawei Shen, Xueqi
Cheng
- Abstract要約: ニューラルネットワークの一般化は、機械学習における中心的な課題です。
本稿では、入力データを調整することに集中するのではなく、ニューラルネットワークの基盤機能を直接拡張することを提案する。
私たちはこの理論的フレームワークを、$textbfPDE+$$textbfPDE$ with $textbfA$daptive $textbfD$istributional $textbfD$iffusionとして実践しました。
- 参考スコア(独自算出の注目度): 66.95761172711073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The generalization of neural networks is a central challenge in machine
learning, especially concerning the performance under distributions that differ
from training ones. Current methods, mainly based on the data-driven paradigm
such as data augmentation, adversarial training, and noise injection, may
encounter limited generalization due to model non-smoothness. In this paper, we
propose to investigate generalization from a Partial Differential Equation
(PDE) perspective, aiming to enhance it directly through the underlying
function of neural networks, rather than focusing on adjusting input data.
Specifically, we first establish the connection between neural network
generalization and the smoothness of the solution to a specific PDE, namely
"transport equation". Building upon this, we propose a general framework that
introduces adaptive distributional diffusion into transport equation to enhance
the smoothness of its solution, thereby improving generalization. In the
context of neural networks, we put this theoretical framework into practice as
$\textbf{PDE+}$ ($\textbf{PDE}$ with $\textbf{A}$daptive
$\textbf{D}$istributional $\textbf{D}$iffusion) which diffuses each sample into
a distribution covering semantically similar inputs. This enables better
coverage of potentially unobserved distributions in training, thus improving
generalization beyond merely data-driven methods. The effectiveness of PDE+ is
validated through extensive experimental settings, demonstrating its superior
performance compared to SOTA methods.
- Abstract(参考訳): ニューラルネットワークの一般化は機械学習における中心的な課題であり、特にトレーニングと異なる分布下でのパフォーマンスについてである。
データ拡張、逆トレーニング、ノイズインジェクションといったデータ駆動パラダイムに基づいた現在の手法は、モデル非スムースネスによる限定的な一般化に遭遇する可能性がある。
本稿では,部分微分方程式(PDE)の観点から一般化を考察し,入力データを調整することではなく,ニューラルネットワークの基盤機能を直接的に拡張することを目的とする。
具体的には、まずニューラルネットワークの一般化と特定のPDE、すなわち「輸送方程式」への解の滑らかさの関連性を確立する。
そこで我々は, 輸送方程式に適応分布拡散を導入し, 解の滑らかさを向上し, 一般化を向上する一般フレームワークを提案する。
ニューラルネットワークの文脈では、この理論フレームワークを、$\textbf{PDE+}$$$\textbf{PDE}$ with $\textbf{A}$daptive $\textbf{D}$istributional $\textbf{D}$iffusion)として実践し、各サンプルを意味論的に類似した入力をカバーする分布に拡散させる。
これにより、トレーニングで観測できない可能性のあるディストリビューションのカバレッジが向上し、単なるデータ駆動型メソッド以上の一般化が改善される。
PDE+の有効性を実験的に検証し,SOTA法と比較して優れた性能を示した。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - DSCom: A Data-Driven Self-Adaptive Community-Based Framework for
Influence Maximization in Social Networks [3.97535858363999]
我々は、属性ネットワーク上の問題を再構成し、ノード属性を利用して接続ノード間の近接性を推定する。
具体的には、この問題に対処するため、DSComという機械学習ベースのフレームワークを提案する。
従来の理論的研究と比較して,実世界のソーシャルネットワークに基づくパラメータ化拡散モデルを用いた実験実験を慎重に設計した。
論文 参考訳(メタデータ) (2023-11-18T14:03:43Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳(メタデータ) (2023-09-05T22:33:02Z) - Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。
我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。
我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-06-25T16:19:09Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳(メタデータ) (2021-06-15T17:45:51Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳(メタデータ) (2021-06-03T00:02:05Z) - Adversarial Multi-task Learning Enhanced Physics-informed Neural
Networks for Solving Partial Differential Equations [9.823102211212582]
本稿では,多タスク学習手法,不確実性強調損失,勾配手術を学習pdeソリューションの文脈で活用する新しいアプローチを提案する。
実験では,提案手法が有効であることが判明し,従来手法と比較して未発見のデータポイントの誤差を低減できた。
論文 参考訳(メタデータ) (2021-04-29T13:17:46Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳(メタデータ) (2021-01-22T08:43:28Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳(メタデータ) (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。