論文の概要: Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory

• arxiv url: http://arxiv.org/abs/2310.06756v2
• Date: Sun, 26 Nov 2023 17:24:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:00:26.014411
• Title: Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory
• Title（参考訳）: ニューラルネットワークの特徴の類似性を超えて:ネットワークの特徴複雑性とそのカテゴリー理論による解釈
• Authors: Yiting Chen, Zhanpeng Zhou, Junchi Yan
• Abstract要約: 機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 64.06519549649495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The behavior of neural networks still remains opaque, and a recently widely noted phenomenon is that networks often achieve similar performance when initialized with different random parameters. This phenomenon has attracted significant attention in measuring the similarity between features learned by distinct networks. However, feature similarity could be vague in describing the same feature since equivalent features hardly exist. In this paper, we expand the concept of equivalent feature and provide the definition of what we call functionally equivalent features. These features produce equivalent output under certain transformations. Using this definition, we aim to derive a more intrinsic metric for the so-called feature complexity regarding the redundancy of features learned by a neural network at each layer. We offer a formal interpretation of our approach through the lens of category theory, a well-developed area in mathematics. To quantify the feature complexity, we further propose an efficient algorithm named Iterative Feature Merging. Our experimental results validate our ideas and theories from various perspectives. We empirically demonstrate that the functionally equivalence widely exists among different features learned by the same neural network and we could reduce the number of parameters of the network without affecting the performance.The IFM shows great potential as a data-agnostic model prune method. We have also drawn several interesting empirical findings regarding the defined feature complexity.
• Abstract（参考訳）: ニューラルネットワークの振舞いはいまだ不透明であり、最近広く知られる現象は、異なるランダムパラメータで初期化されると、ネットワークが同様のパフォーマンスを達成することである。 この現象は、異なるネットワークによって学習された特徴間の類似性を測定することに大きな注目を集めている。 しかし、同等の機能はほとんど存在しないため、同じ機能を記述することは曖昧である。 本稿では、等価機能の概念を拡張し、機能的に等価機能と呼ぶものの定義を提供する。 これらの特徴は特定の変換の下で等価な出力を生成する。 この定義を用いて、ニューラルネットワークが各層で学習した特徴の冗長性に関して、いわゆる特徴複雑性のより内在的な指標を導出することを目指している。 我々は、数学の発達した分野である圏論のレンズを通して、我々のアプローチの正式な解釈を提供する。 さらに,特徴量の定量化のために,Iterative Feature Mergingというアルゴリズムを提案する。 実験結果は、様々な観点から我々の考えと理論を検証した。 実験により、同じニューラルネットワークで学習された異なる特徴間で機能的等価性が広く存在し、性能に影響を与えずにネットワークのパラメータ数を削減できることを実証し、ifmはデータ非依存モデルプルーネ法として大きな可能性を示している。 定義された機能の複雑さに関する興味深い経験的な発見もいくつか出てきました。

関連論文リスト

• A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
  完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。 これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
  論文  参考訳（メタデータ） (2024-10-24T17:24:34Z)
• Noise-Resilient Unsupervised Graph Representation Learning via Multi-Hop Feature Quality Estimation [53.91958614666386]
  グラフニューラルネットワーク(GNN)に基づく教師なしグラフ表現学習(UGRL) マルチホップ特徴量推定(MQE)に基づく新しいUGRL法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T12:24:28Z)
• Deep Neural Networks are Adaptive to Function Regularity and Data Distribution in Approximation and Estimation [8.284464143581546]
  深層ニューラルネットワークが、異なる位置とスケールにわたる関数の異なる規則性にどのように適応するかを研究する。 この結果から,深部ニューラルネットワークは関数の正則性や不均一なデータ分布に適応していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T02:01:50Z)
• Feature Network Methods in Machine Learning and Applications [0.0]
  機械学習(ML)機能ネットワーク(英: machine learning feature network)は、機械学習タスクにおけるML機能を、その類似性に基づいて接続するグラフである。 本稿では,機能クラスタリングとフィードフォワード学習によって階層的な接続が形成される,深い木構造特徴ネットワークの例を示す。
  論文  参考訳（メタデータ） (2024-01-10T01:57:12Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。