論文の概要: Functional Equivalence and Path Connectivity of Reducible Hyperbolic Tangent Networks

• arxiv url: http://arxiv.org/abs/2305.05089v2
• Date: Wed, 7 Jun 2023 06:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 18:35:01.519477
• Title: Functional Equivalence and Path Connectivity of Reducible Hyperbolic Tangent Networks
• Title（参考訳）: 還元性双曲型タンジェントネットワークの機能等価性と経路接続性
• Authors: Matthew Farrugia-Roberts (The University of Melbourne)
• Abstract要約: ニューラルネットワークパラメータの関数同値クラスは、同じ入力出力関数を実装するパラメータの集合である。 単層双曲型タンジェントアーキテクチャに対して,単位冗長性のアルゴリズム的特徴付けと再現可能な関数同値クラスを与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the learning process of artificial neural networks requires clarifying the structure of the parameter space within which learning takes place. A neural network parameter's functional equivalence class is the set of parameters implementing the same input--output function. For many architectures, almost all parameters have a simple and well-documented functional equivalence class. However, there is also a vanishing minority of reducible parameters, with richer functional equivalence classes caused by redundancies among the network's units. In this paper, we give an algorithmic characterisation of unit redundancies and reducible functional equivalence classes for a single-hidden-layer hyperbolic tangent architecture. We show that such functional equivalence classes are piecewise-linear path-connected sets, and that for parameters with a majority of redundant units, the sets have a diameter of at most 7 linear segments.
• Abstract（参考訳）: ニューラルネットワークの学習過程を理解するには、学習が行われるパラメータ空間の構造を明確にする必要がある。 ニューラルネットワークパラメータの関数同値クラスは、同じ入力出力関数を実装するパラメータの集合である。 多くのアーキテクチャにおいて、ほとんどのパラメータは単純で文書化された関数同値類を持つ。 しかし、ネットワークのユニット間の冗長性によって引き起こされるより機能的な同値クラスを持つ、還元可能なパラメータの少数派も存在する。 本稿では,単層双曲型タンジェントアーキテクチャに対して,単位冗長性と可逆関数同値クラスをアルゴリズム的に特徴付ける。 このような関数同値類は分割線形経路連結集合であり、冗長単位の大多数を持つパラメータに対して、その集合は最大7つの線形セグメントの直径を持つことを示す。

関連論文リスト

• Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents [7.479827648985631]
  我々は、対称性ジレンマの緩和を可能にする、異なるニューロン型とシナプス型のセットを最適化することが可能であることを示す。 一つのニューロンとシナプスの集合を最適化して、複数の強化学習制御タスクを同時に解くことで、これを実証する。
  論文  参考訳（メタデータ） (2024-04-06T14:04:14Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Parametric Rectified Power Sigmoid Units: Learning Nonlinear Neural Transfer Analytical Forms [1.6975704972827304]
  本稿では,線形畳み込み重みと非線形活性化関数のパラメトリック形式を共用する双対パラダイムの表現関数を提案する。 関数表現を実行するために提案された非線形形式は、整形パワーシグモイド単位と呼ばれる新しいパラメトリック神経伝達関数のクラスに関連付けられる。 浅層学習と深層学習の両フレームワークにおいて,畳み込み型および整流型シグモイド学習パラメータの連成学習により達成された性能を示す。
  論文  参考訳（メタデータ） (2021-01-25T08:25:22Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• A Functional Perspective on Learning Symmetric Functions with Neural Networks [48.80300074254758]
  本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。 正規化の異なる選択の下で近似と一般化境界を確立する。 得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
  論文  参考訳（メタデータ） (2020-08-16T16:34:33Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• No one-hidden-layer neural network can represent multivariable functions [0.0]
  ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。 整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
  論文  参考訳（メタデータ） (2020-06-19T06:46:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。