論文の概要: Diffusion Mechanism in Residual Neural Network: Theory and Applications

• arxiv url: http://arxiv.org/abs/2105.03155v5
• Date: Sat, 29 Apr 2023 03:37:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 22:10:32.191800
• Title: Diffusion Mechanism in Residual Neural Network: Theory and Applications
• Title（参考訳）: 残留ニューラルネットワークにおける拡散機構:理論と応用
• Authors: Tangjun Wang, Zehao Dou, Chenglong Bao, Zuoqiang Shi
• Abstract要約: 限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。 本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。 構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
• 参考スコア（独自算出の注目度）: 12.573746641284849
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion, a fundamental internal mechanism emerging in many physical processes, describes the interaction among different objects. In many learning tasks with limited training samples, the diffusion connects the labeled and unlabeled data points and is a critical component for achieving high classification accuracy. Many existing deep learning approaches directly impose the fusion loss when training neural networks. In this work, inspired by the convection-diffusion ordinary differential equations (ODEs), we propose a novel diffusion residual network (Diff-ResNet), internally introduces diffusion into the architectures of neural networks. Under the structured data assumption, it is proved that the proposed diffusion block can increase the distance-diameter ratio that improves the separability of inter-class points and reduces the distance among local intra-class points. Moreover, this property can be easily adopted by the residual networks for constructing the separable hyperplanes. Extensive experiments of synthetic binary classification, semi-supervised graph node classification and few-shot image classification in various datasets validate the effectiveness of the proposed method.
• Abstract（参考訳）: 多くの物理プロセスで現れる基本的な内部機構である拡散は、異なるオブジェクト間の相互作用を記述する。 限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きデータポイントとラベルなしデータポイントを接続し、高い分類精度を達成するための重要な要素である。 既存のディープラーニングアプローチの多くは、ニューラルネットワークのトレーニング時に直接核融合損失を課している。 本研究では, 対流拡散常微分方程式(odes)に着想を得て, ニューラルネットワークのアーキテクチャに内部拡散を導入する新しい拡散残差ネットワーク(diff-resnet)を提案する。 構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上し,クラス間点間の距離を減少させる距離-距離比を増大させることができることを示した。 さらに、この性質は分離可能な超平面を構築するための残留ネットワークにより容易に適用できる。 合成二分法,半教師付きグラフノード分類,少数ショット画像分類の大規模な実験により,提案手法の有効性が検証された。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• Discretization Invariant Networks for Learning Maps between Neural Fields [3.09125960098955]
  離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
  論文  参考訳（メタデータ） (2022-06-02T17:44:03Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
  集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。 特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。 本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
  論文  参考訳（メタデータ） (2021-07-09T14:23:57Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。