論文の概要: Functional Similarity Metric for Neural Networks: Overcoming Parametric Ambiguity via Activation Region Analysis

• arxiv url: http://arxiv.org/abs/2604.16426v1
• Date: Sat, 04 Apr 2026 17:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.987895
• Title: Functional Similarity Metric for Neural Networks: Overcoming Parametric Ambiguity via Activation Region Analysis
• Title（参考訳）: ニューラルネットワークの機能的類似度:活性化領域解析によるパラメトリック曖昧性克服
• Abstract要約: ReLUネットワークでは、全く異なる重み設定によって同一の機能写像が達成される。 従来の比較法では、トレーニング中にわずかに体重の摂動が極端に不安定である。 本稿では,ニューラルネットワークの安定な正準表現を構築するための数学的基礎的手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As modern deep learning architectures grow in complexity, representational ambiguity emerges as a critical barrier to their interpretability and reliable merging. For ReLU networks, identical functional mappings can be achieved through entirely different weight configurations due to algebraic symmetries: neuron permutation and positive diagonal scaling. Consequently, traditional parameter-based comparison methods exhibit extreme instability to slight weight perturbations during training. This paper proposes a mathematically grounded approach to constructing a stable canonical representation of neural networks and a robust functional similarity metric. We shift focus from comparing raw weights to analyzing the topology of neuron activation regions. The algorithm first eliminates scaling ambiguity via L2-normalization of weight vectors with subsequent layer compensation. Next, discrete approximations of activation regions are generated as binary functional signatures evaluated over a data sample. To overcome the computational bottleneck of comparing large binary vectors, we adapt Locality-Sensitive Hashing, specifically MinHash, providing a fast and statistically precise approximation of the Jaccard index. The final cross-network neuron matching is formulated as a linear sum assignment problem solved via the Hungarian algorithm. We demonstrate theoretically and experimentally that our metric mitigates the neuron "flickering" effect and exhibits exceptional robustness to minor weight perturbations. This framework provides a solid foundation for model merging, transfer learning, objective assessment during pruning, and Explainable AI paradigms.
• Abstract（参考訳）: 現代のディープラーニングアーキテクチャが複雑化するにつれて、表現の曖昧さが、解釈可能性と信頼性の高いマージの重要な障壁として現れます。 ReLUネットワークでは、ニューロンの置換と正の対角線スケーリングという代数的対称性によって、全く異なる重み付けによって同一の機能写像が達成される。 その結果、従来のパラメータベースの比較手法は、トレーニング中にわずかに重みの摂動に極端に不安定を示す。 本稿では,ニューラルネットワークの安定な正準表現と頑健な機能的類似度尺度を構築するための数学的基礎的なアプローチを提案する。 我々は、生重量の比較からニューロン活性化領域のトポロジー分析へ焦点を移す。 このアルゴリズムはまず、重みベクトルのL2正規化とその後の層補償によって、スケーリングのあいまいさを除去する。 次に、データサンプル上で評価されたバイナリ機能シグネチャとして、アクティベーション領域の離散近似を生成する。 大きなバイナリベクトルを比較する際の計算ボトルネックを克服するため、局所性感性ハッシュ、特にMinHashを適用し、ジャカード指数の高速かつ統計的に正確な近似を提供する。 最後のクロスネットワークニューロンマッチングは、ハンガリーのアルゴリズムによって解決された線形和代入問題として定式化される。 理論的および実験的に、我々の測定値がニューロンの「ひねり」効果を緩和し、軽度の摂動に対して例外的な堅牢性を示すことを実証する。 このフレームワークは、モデルマージ、移行学習、プルーニング中の客観的評価、説明可能なAIパラダイムのための強固な基盤を提供する。

関連論文リスト

• Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms [0.0]
  本研究では, アクターモデルとアクターモデルの両方に対して, 浅いニューラルネットワークを用いたニューラルアクター批判アルゴリズムについて検討する。 ネットワーク幅やトレーニングの回数が無限大になる傾向にあるため,ネットワーク出力の収束特性を様々なスケーリング方式で比較する。
  論文  参考訳（メタデータ） (2026-01-25T19:06:49Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• A Scalable Quantum Neural Network for Approximate SRBB-Based Unitary Synthesis [1.3108652488669736]
  拡張性のある量子ニューラルネットワークは、任意のユニタリ進化を近似する手段として導入された。 SRBBベースの合成アルゴリズムは、実際のハードウェア上でもテストされる。
  論文  参考訳（メタデータ） (2024-12-04T07:21:23Z)
• Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
  トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。 本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
  論文  参考訳（メタデータ） (2024-06-06T23:19:57Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Interpretable Neural Networks with Random Constructive Algorithm [3.1200894334384954]
  本稿では,無作為重み付きニューラルネットワークの不透明なパラメータ化プロセスに取り組むために,空間情報を組み込んだ解釈型ニューラルネットワーク(INN)を提案する。 ネットワーク収束に寄与するノードパラメータを選択するために、候補ノードのプールと関係を確立することで、幾何学的関係戦略を考案する。
  論文  参考訳（メタデータ） (2023-07-01T01:07:20Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks with Probabilities over Representations [2.047424180164312]
  本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。 我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T14:11:07Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。