論文の概要: Diff-ResNets for Few-shot Learning -- an ODE Perspective

• arxiv url: http://arxiv.org/abs/2105.03155v1
• Date: Fri, 7 May 2021 10:42:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 18:01:19.464635
• Title: Diff-ResNets for Few-shot Learning -- an ODE Perspective
• Title（参考訳）: Few-shot LearningのためのDiff-ResNets - ODEパースペクティブ
• Authors: Tangjun Wang, Zehao Dou, Chenglong Bao, Zuoqiang Shi
• Abstract要約: データポイント間の相互作用を強化するための新しい拡散残留ネットワーク(Diff-ResNet)を提案する。 構造化データの仮定により,拡散機構が距離-径比を減少させることが証明された。 提案したDiff-ResNetの利点を検証し,少数ショット画像分類と半教師付きグラフノード分類の実験を行った。
• 参考スコア（独自算出の注目度）: 13.75516394682621
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Interpreting deep neural networks from the ordinary differential equations (ODEs) perspective has inspired many efficient and robust network architectures. However, existing ODE based approaches ignore the relationship among data points, which is a critical component in many problems including few-shot learning and semi-supervised learning. In this paper, inspired by the diffusive ODEs, we propose a novel diffusion residual network (Diff-ResNet) to strengthen the interactions among data points. Under the structured data assumption, it is proved that the diffusion mechanism can decrease the distance-diameter ratio that improves the separability of inter-class points and reduces the distance among local intra-class points. This property can be easily adopted by the residual networks for constructing the separable hyperplanes. The synthetic binary classification experiments demonstrate the effectiveness of the proposed diffusion mechanism. Moreover, extensive experiments of few-shot image classification and semi-supervised graph node classification in various datasets validate the advantages of the proposed Diff-ResNet over existing few-shot learning methods.
• Abstract（参考訳）: 通常の微分方程式(odes)の観点からのディープニューラルネットワークの解釈は多くの効率的でロバストなネットワークアーキテクチャに影響を与えている。 しかし、既存のODEベースのアプローチは、少数ショット学習や半教師付き学習を含む多くの問題において重要な要素であるデータポイント間の関係を無視している。 本稿では,データポイント間の相互作用を強化するための拡散残差ネットワーク(Diff-ResNet)を提案する。 構造的データ仮定により, 拡散機構は, クラス間点の分離性を高め, クラス間点間の距離を減少させる距離径比を低減できることが証明された。 この性質は、分離可能な超平面を構成するための残留ネットワークによって容易に適用できる。 合成二元分類実験は,提案する拡散機構の有効性を示す。 さらに、様々なデータセットにおける複数ショット画像分類と半教師付きグラフノード分類の広範な実験は、既存の複数ショット学習法よりも提案したDiff-ResNetの利点を検証する。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Hidden Classification Layers: Enhancing linear separability between classes in neural networks layers [0.0]
  トレーニング手法の深層ネットワーク性能への影響について検討する。 本稿では,全てのネットワークレイヤの出力を含むエラー関数を誘導するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-06-09T10:52:49Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• Discretization Invariant Networks for Learning Maps between Neural Fields [3.09125960098955]
  離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
  論文  参考訳（メタデータ） (2022-06-02T17:44:03Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
  集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。 特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。 本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
  論文  参考訳（メタデータ） (2021-07-09T14:23:57Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。