論文の概要: Transformations between deep neural networks

• arxiv url: http://arxiv.org/abs/2007.05646v3
• Date: Thu, 14 Jan 2021 16:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 21:14:06.896791
• Title: Transformations between deep neural networks
• Title（参考訳）: ディープニューラルネットワーク間の変換
• Authors: Tom Bertalan and Felix Dietrich and Ioannis G. Kevrekidis
• Abstract要約: 我々は、2つの異なる人工ニューラルネットワークの等価性を検証し、可能であれば確立することを提案する。 まず、2つのネットワークの出力のみ間の変換関数について議論する。 次に、各ネットワークから複数の内部ニューロンの出力(活性化)を考慮に入れた変換を検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to test, and when possible establish, an equivalence between two different artificial neural networks by attempting to construct a data-driven transformation between them, using manifold-learning techniques. In particular, we employ diffusion maps with a Mahalanobis-like metric. If the construction succeeds, the two networks can be thought of as belonging to the same equivalence class. We first discuss transformation functions between only the outputs of the two networks; we then also consider transformations that take into account outputs (activations) of a number of internal neurons from each network. In general, Whitney's theorem dictates the number of measurements from one of the networks required to reconstruct each and every feature of the second network. The construction of the transformation function relies on a consistent, intrinsic representation of the network input space. We illustrate our algorithm by matching neural network pairs trained to learn (a) observations of scalar functions; (b) observations of two-dimensional vector fields; and (c) representations of images of a moving three-dimensional object (a rotating horse). The construction of such equivalence classes across different network instantiations clearly relates to transfer learning. We also expect that it will be valuable in establishing equivalence between different Machine Learning-based models of the same phenomenon observed through different instruments and by different research groups.
• Abstract（参考訳）: 本稿では,2つの異なるニューラルネットワーク間の等価性を検証するために,多様体学習手法を用いてデータ駆動変換を構築することを提案する。 特に、マハラノビスのような計量を持つ拡散写像を用いる。 この構成が成功すると、2つのネットワークは同じ同値クラスに属すると考えることができる。 まず、2つのネットワークの出力のみ間の変換関数について論じ、次に各ネットワークの複数の内部ニューロンの出力(アクティベーション)を考慮した変換についても検討する。 一般に、ホイットニーの定理は、第2のネットワークの各特徴を再構築するのに必要なネットワークの1つからの測定数を決定する。 変換関数の構成は、ネットワーク入力空間の一貫性のある本質的な表現に依存している。 学習するために訓練されたニューラルネットワークペアをマッチングして (a)スカラー関数の観測 (b)二次元ベクトル場の観測,及び (c)動く3次元物体(回転馬)の画像の表現。 異なるネットワークインスタンス間の同値クラスの構築は、転送学習と明確に関連している。 また、異なる機器と異なる研究グループで観測された同じ現象の異なる機械学習ベースのモデル間の等価性を確立することにも価値があると期待している。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Fourier Circuits in Neural Networks and Transformers: A Case Study of Modular Arithmetic with Multiple Inputs [35.212818841550835]
  一層ニューラルネットワークと一層トランスフォーマーの研究を行った。 1つの隠れた層ニューラルネットワークは、データセット上で最大$L_2,k+1$-marginに達する。 同様の計算機構を1層変換器に注意して観察する。
  論文  参考訳（メタデータ） (2024-02-12T05:52:06Z)
• Task structure and nonlinearity jointly determine learned representational geometry [0.0]
  本稿では,Tanhネットワークが対象出力の構造を反映した表現を学習する傾向を示し,ReLUネットワークは生入力の構造についてより多くの情報を保持することを示した。 我々の研究結果は、入力出力幾何学、非線形性、ニューラルネットワークにおける学習表現との相互作用に光を当てた。
  論文  参考訳（メタデータ） (2024-01-24T16:14:38Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Beyond Geometry: Comparing the Temporal Structure of Computation in Neural Circuits with Dynamical Similarity Analysis [7.660368798066376]
  本稿では、2つの系を力学のレベルで比較する新しい類似度指標を提案する。 本手法は,ニューラルネットワークにおける計算の本質的時間構造を比較検討するための扉を開く。
  論文  参考訳（メタデータ） (2023-06-16T20:11:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes [78.120734120667]
  入力空間における出力多様体内の点の事前像を構築する。 我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-17T11:47:45Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Interpretable Neural Networks based classifiers for categorical inputs [0.0]
  本稿では,入力カテゴリ変数として扱うニューラルネットワーク分類器の出力関数を簡易に解釈する手法を提案する。 これらの場合、ネットワークの各層、特にロジット層は、各入力パターンの分類に寄与する用語の総和として拡張可能であることを示す。 適切なゲージ変換後の各パターンのコントリビューションの分析を,本手法の有効性が評価できる2つの事例に示す。
  論文  参考訳（メタデータ） (2021-02-05T14:38:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。