論文の概要: Discretization Invariant Networks for Learning Maps between Neural Fields

• arxiv url: http://arxiv.org/abs/2206.01178v4
• Date: Thu, 19 Oct 2023 19:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 15:26:53.139635
• Title: Discretization Invariant Networks for Learning Maps between Neural Fields
• Title（参考訳）: ニューラルネットワーク間のマップ学習のための離散化不変ネットワーク
• Authors: Clinton J. Wang and Polina Golland
• Abstract要約: 離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。 構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
• 参考スコア（独自算出の注目度）: 3.09125960098955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the emergence of powerful representations of continuous data in the form of neural fields, there is a need for discretization invariant learning: an approach for learning maps between functions on continuous domains without being sensitive to how the function is sampled. We present a new framework for understanding and designing discretization invariant neural networks (DI-Nets), which generalizes many discrete networks such as convolutional neural networks as well as continuous networks such as neural operators. Our analysis establishes upper bounds on the deviation in model outputs under different finite discretizations, and highlights the central role of point set discrepancy in characterizing such bounds. This insight leads to the design of a family of neural networks driven by numerical integration via quasi-Monte Carlo sampling with discretizations of low discrepancy. We prove by construction that DI-Nets universally approximate a large class of maps between integrable function spaces, and show that discretization invariance also describes backpropagation through such models. Applied to neural fields, convolutional DI-Nets can learn to classify and segment visual data under various discretizations, and sometimes generalize to new types of discretizations at test time. Code: https://github.com/clintonjwang/DI-net.
• Abstract（参考訳）: 連続データの強力な表現が神経場として出現するにつれて、離散化不変学習が必要である:関数のサンプル化方法に敏感なことなく、連続領域上の関数間の写像を学習するアプローチ。 本稿では、畳み込みニューラルネットワークやニューラルネットワークのような連続的なネットワークを一般化する、離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。 本解析は,有限離散化の異なるモデル出力の偏差の上限を定式化し,そのような境界を特徴付ける点集合の偏差の中心的役割を強調する。 この洞察は、低差の離散化を伴う準モンテカルロサンプリングによる数値積分によって駆動されるニューラルネットワークファミリーの設計につながる。 構成により、DI-Netは可積分函数空間間の大規模な写像のクラスを普遍的に近似し、離散化不変性もそのようなモデルによる逆伝播を記述することを示す。 畳み込み型di-netは、様々な離散化の下で視覚データを分類し、セグメンテーションし、テスト時に新しいタイプの離散化に一般化することができる。 コード:https://github.com/clintonjwang/DI-net

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• k* Distribution: Evaluating the Latent Space of Deep Neural Networks using Local Neighborhood Analysis [7.742297876120561]
  ここでは,k*分布とその可視化手法を紹介する。 本手法では, サンプル分布の構造の保存を保証するため, 局所的近傍解析を用いる。 実験により、ネットワークの学習潜在空間内のサンプルの分布は、クラスによって大きく異なることが示された。
  論文  参考訳（メタデータ） (2023-12-07T03:42:48Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Mean-field neural networks: learning mappings on Wasserstein space [0.0]
  確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。 ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。 本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-27T05:11:42Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Persistent Homology Captures the Generalization of Neural Networks Without A Validation Set [0.0]
  本稿では,代数的トポロジー,特に永続的ホモロジーを用いたニューラルネットワークのトレーニングについて考察する。 ニューラルネットワークの単純な複雑な表現を用いて、ニューラルネットワーク学習プロセスにおけるPHダイアグラム距離の進化について検討する。 その結果,連続するニューラルネットワーク状態間のPHダイアグラム距離は,検証精度と相関していることがわかった。
  論文  参考訳（メタデータ） (2021-05-31T09:17:31Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Neural Operator: Graph Kernel Network for Partial Differential Equations [57.90284928158383]
  この作業はニューラルネットワークを一般化し、無限次元空間(演算子)間の写像を学習できるようにすることである。 非線形活性化関数と積分作用素のクラスを構成することにより、無限次元写像の近似を定式化する。 実験により,提案したグラフカーネルネットワークには所望の特性があり,最先端技術と比較した場合の競合性能を示すことが確認された。
  論文  参考訳（メタデータ） (2020-03-07T01:56:20Z)
• Mean-Field and Kinetic Descriptions of Neural Differential Equations [0.0]
  この研究では、ニューラルネットワークの特定のクラス、すなわち残留ニューラルネットワークに焦点を当てる。 我々は、ネットワークのパラメータ、すなわち重みとバイアスに関する定常状態と感度を分析する。 残留ニューラルネットワークにインスパイアされた微視的ダイナミクスの修正は、ネットワークのフォッカー・プランクの定式化につながる。
  論文  参考訳（メタデータ） (2020-01-07T13:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。