論文の概要: Most ReLU Networks Admit Identifiable Parameters

• arxiv url: http://arxiv.org/abs/2605.03601v1
• Date: Tue, 05 May 2026 10:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.891353
• Title: Most ReLU Networks Admit Identifiable Parameters
• Title（参考訳）: ほとんどのReLUネットワークは特定可能なパラメータを許容する
• Authors: Moritz Grillo, Guido Montúfar,
• Abstract要約: 深部ReLUネットワークの実現マップについて検討し、関数がパラメータをスケールや置換まで決定する時間に着目した。 我々の主な結果は、入力層と隠された層が少なくとも2つの幅を持つ全てのアーキテクチャに対して、識別可能なパラメータのオープンセットが存在することを示している。
• 参考スコア（独自算出の注目度）: 14.626408075188005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the realization map of deep ReLU networks, focusing on when a function determines its parameters up to scaling and permutation. To analyze hidden redundancies beyond these standard symmetries, we introduce a framework based on weighted polyhedral complexes. Our main result shows that for every architecture whose input and hidden layers have width at least two, there exists an open set of identifiable parameters. This implies that the functional dimension of every such architecture is exactly the number of parameters minus the number of hidden neurons. We further show that minimal functional representations can still have non-trivial parameter redundancies. Finally, we establish a generic depth hierarchy, whereby for an open set of parameters the realized function cannot be represented generically by any shallower network.
• Abstract（参考訳）: 深部ReLUネットワークの実現マップについて検討し、関数がパラメータをスケールや置換まで決定する時間に着目した。 これらの標準対称性を超えて隠れた冗長性を解析するために,重み付き多面体錯体に基づく枠組みを導入する。 我々の主な結果は、入力層と隠された層が少なくとも2つの幅を持つ全てのアーキテクチャに対して、識別可能なパラメータのオープンセットが存在することを示している。 これは、そのようなアーキテクチャのすべての機能次元が、正確には隠れたニューロンの数に比例するパラメータの数であることを意味する。 さらに、最小限の関数表現が非自明なパラメータ冗長性を持つことを示す。 最後に、パラメータのオープンな集合に対して、より浅いネットワークで実現された関数を汎用的に表現できないような、汎用的な深さ階層を確立する。

関連論文リスト

• A Complete Symmetry Classification of Shallow ReLU Networks [0.0]
  我々は,同じ機能を実現するニューラルアーキテクチャにおいて,異なるパラメータの研究を行う。 本稿では,ReLUアクティベーションの非微分性を利用して,浅い場合の対称性の完全な分類を行う。
  論文  参考訳（メタデータ） (2026-04-15T16:18:44Z)
• Hidden symmetries of ReLU networks [17.332539115959708]
  一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。 本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
  論文  参考訳（メタデータ） (2023-06-09T18:07:06Z)
• Functional Equivalence and Path Connectivity of Reducible Hyperbolic Tangent Networks [0.0]
  ニューラルネットワークパラメータの関数同値クラスは、同じ入力出力関数を実装するパラメータの集合である。 単層双曲型タンジェントアーキテクチャに対して,単位冗長性のアルゴリズム的特徴付けと再現可能な関数同値クラスを与える。
  論文  参考訳（メタデータ） (2023-05-08T23:29:12Z)
• Expand-and-Cluster: Parameter Recovery of Neural Networks [9.497862562614666]
  それぞれのニューロンの重みベクトルは,活性化関数に応じて,サインやスケーリングが可能であることを示す。 提案手法は, 一般的に使用されるすべてのアクティベーション関数に対して, 対象ネットワークの重みを同定する。
  論文  参考訳（メタデータ） (2023-04-25T13:14:20Z)
• DepGraph: Towards Any Structural Pruning [68.40343338847664]
  我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。 本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。 本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
  論文  参考訳（メタデータ） (2023-01-30T14:02:33Z)
• RepMode: Learning to Re-parameterize Diverse Experts for Subcellular Structure Prediction [54.69195221765405]
  生物学的研究において、蛍光染色は細胞内構造の位置と形態を明らかにする重要な技術である。 本稿では,3次元透過光画像から複数の細胞構造体の3次元蛍光画像を予測することを目的とした,細胞構造予測(subcellular structure prediction, SSP)と呼ばれる深層学習タスクをモデル化する。 本稿では,特定の単一ラベル予測タスクを処理するために,タスク認識の事前処理によってパラメータを動的に整理するネットワークRepModeを提案する。
  論文  参考訳（メタデータ） (2022-12-20T08:17:08Z)
• Neural Parameter Allocation Search [57.190693718951316]
  ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。 既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。 我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。 NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
  論文  参考訳（メタデータ） (2020-06-18T15:01:00Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。