Fugu-MT 論文翻訳(概要): Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks

論文の概要: Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks

arxiv url: http://arxiv.org/abs/2403.15726v1
Date: Sat, 23 Mar 2024 05:26:36 GMT
ステータス: 処理完了
システム内更新日: 2024-03-26 21:22:21.687649
Title: Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks
Title（参考訳）: 対流拡散方程式:ニューラルネットワークのための理論的に認定されたフレームワーク
Authors: Tangjun Wang, Chenglong Bao, Zuoqiang Shi,
Abstract要約: ニューラルネットワークの偏微分方程式モデルについて検討する。この写像は対流拡散方程式で定式化できることを示す。拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
参考スコア（独自算出の注目度）: 14.01268607317875
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we study the partial differential equation models of neural networks. Neural network can be viewed as a map from a simple base model to a complicate function. Based on solid analysis, we show that this map can be formulated by a convection-diffusion equation. This theoretically certified framework gives mathematical foundation and more understanding of neural networks. Moreover, based on the convection-diffusion equation model, we design a novel network structure, which incorporates diffusion mechanism into network architecture. Extensive experiments on both benchmark datasets and real-world applications validate the performance of the proposed model.
Abstract（参考訳）: 本稿では,ニューラルネットワークの偏微分方程式モデルについて検討する。ニューラルネットワークは、単純なベースモデルから複雑な関数への写像と見なすことができる。固体解析に基づいて、この写像は対流拡散方程式で定式化できることを示す。この理論的に認定されたフレームワークは、ニューラルネットワークの数学的基礎と理解を深める。さらに, 対流拡散方程式モデルに基づいて, 拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。ベンチマークデータセットと実世界のアプリケーションの両方での大規模な実験により、提案モデルの性能が検証された。

関連論文リスト

Neural Network Parameter Diffusion [50.85251415173792]
拡散モデルは画像生成やビデオ生成において顕著な成功を収めた。本研究は拡散モデルにも適用可能であることを示す。高性能なニューラルネットワークパラメータを生成する。
論文参考訳（メタデータ） (2024-02-20T16:59:03Z)
Analyzing Neural Network-Based Generative Diffusion Models through Convex Optimization [45.72323731094864]
本稿では,2層ニューラルネットワークを用いた拡散モデル解析のための理論的枠組みを提案する。我々は,1つの凸プログラムを解くことで,スコア予測のための浅層ニューラルネットワークのトレーニングが可能であることを証明した。本結果は, ニューラルネットワークに基づく拡散モデルが漸近的でない環境で何を学習するかを, 正確に評価するものである。
論文参考訳（メタデータ） (2024-02-03T00:20:25Z)
An axiomatized PDE model of deep neural networks [12.82710074674]
ディープニューラルネットワーク(DNN)と偏微分方程式(PDE)の関係から着想を得て,ディープニューラルネットワークのPDEモデルの一般的な形式について検討する。進化作用素が実際に対流拡散方程式によって決定されることを示す。対流拡散方程式モデルによりロバスト性が向上し,ラデマッハの複雑性が低下することを示す。
論文参考訳（メタデータ） (2023-07-23T14:00:33Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文参考訳（メタデータ） (2022-07-26T09:42:45Z)
Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文参考訳（メタデータ） (2022-04-15T10:45:26Z)
Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
論文参考訳（メタデータ） (2021-05-07T10:42:59Z)
Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文参考訳（メタデータ） (2020-07-08T21:23:19Z)
The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
論文参考訳（メタデータ） (2020-06-29T17:59:26Z)
Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文参考訳（メタデータ） (2020-06-16T18:45:20Z)
Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。