論文の概要: GENNI: Visualising the Geometry of Equivalences for Neural Network
Identifiability
- arxiv url: http://arxiv.org/abs/2011.07407v1
- Date: Sat, 14 Nov 2020 22:53:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-25 13:10:08.868346
- Title: GENNI: Visualising the Geometry of Equivalences for Neural Network
Identifiability
- Title(参考訳): genni: ニューラルネットワーク識別性のための等価性の幾何の可視化
- Authors: Daniel Lengyel, Janith Petangoda, Isak Falk, Kate Highnam, Michalis
Lazarou, Arinbj\"orn Kolbeinsson, Marc Peter Deisenroth, Nicholas R. Jennings
- Abstract要約: ニューラルネットワークの対称性を可視化する効率的なアルゴリズムを提案する。
提案手法であるGENNIは,機能的に等価なパラメータを効率的に同定し,その結果の同値クラスの部分空間を可視化する。
- 参考スコア(独自算出の注目度): 14.31120627384789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an efficient algorithm to visualise symmetries in neural networks.
Typically, models are defined with respect to a parameter space, where
non-equal parameters can produce the same input-output map. Our proposed
method, GENNI, allows us to efficiently identify parameters that are
functionally equivalent and then visualise the subspace of the resulting
equivalence class. By doing so, we are now able to better explore questions
surrounding identifiability, with applications to optimisation and
generalizability, for commonly used or newly developed neural network
architectures.
- Abstract(参考訳): ニューラルネットワークの対称性を可視化する効率的なアルゴリズムを提案する。
通常、モデルはパラメータ空間に関して定義され、非等値パラメータは同じ入力出力マップを生成できる。
提案手法であるGENNIは,機能的に等価なパラメータを効率的に同定し,その結果の同値クラスの部分空間を可視化する。
そうすることで、一般的に使われている、または新しく開発されたニューラルネットワークアーキテクチャの最適化と一般化への応用により、識別可能性に関する質問をよりよく探求できるようになりました。
関連論文リスト
- Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
論文 参考訳(メタデータ) (2022-10-27T17:52:58Z) - Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。
本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。
画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
論文 参考訳(メタデータ) (2022-10-23T07:17:55Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - Learning System Parameters from Turing Patterns [0.0]
チューリング機構は、反応拡散過程における自発的対称性の破れによる空間パターンの出現を記述する。
本稿では,観測されたチューリングパターンからチューリングパラメータ値を予測する手法を提案する。
論文 参考訳(メタデータ) (2021-08-19T08:04:37Z) - Learning Regularization Parameters of Inverse Problems via Deep Neural
Networks [0.0]
ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。
本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。
ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
論文 参考訳(メタデータ) (2021-04-14T02:38:38Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。