論文の概要: Hidden Gauge Controls Feature Specialization in ReLU Networks
- arxiv url: http://arxiv.org/abs/2608.06766v1
- Date: Fri, 07 Aug 2026 03:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.340637
- Title: Hidden Gauge Controls Feature Specialization in ReLU Networks
- Title（参考訳）: ReLUネットワークにおける隠れゲージ制御の特徴
- Abstract要約: トレーニングはネットワークの予測を変更し、内部ユニットにタスク関連構造を割り当てる。
我々は、そのニューロンの特徴的所有権のアイデンティティを呼び出し、初期予測子に見えないパラメータ選択によって制御できるかどうかを問う。
我々は,大域的選択と機能的プルーニングを証明し,有限時間選択を可視摂動に拡張し,フルバッチ勾配を小さくする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training changes a network's predictions while allocating task-relevant structure across its internal units. In an overparameterized ReLU network, several neurons can begin with exactly the same functional role, yet one may acquire a teacher feature while the others become redundant. We call the identity of that neuron feature ownership and ask whether it can be controlled by a parameter choice invisible to the initial predictor. In a tractable Gaussian teacher--student model, we fix the complete initial function and vary only a positive-homogeneous scaling gauge. Opposite gauges produce distinct feature trajectories and a sharp $Θ(D^2)$ separation in specialization time that no global change of clock can explain. Among any fixed number of initially duplicate students, assigning the favorable gauge to one neuron deterministically selects it as the owner and drives the remaining functional contribution to zero. An exact reaction--transport decomposition attributes the effect to different mobilities for changing a feature's coefficient and direction. We prove global selection and functional pruning, extend finite-time selection to visible perturbations and small-step full-batch gradient descent, and verify the predicted loss, alignment, pruning, and dissipation trajectories in population and finite-sample training. The initial predictor therefore determines neither when the feature is learned nor which neuron learns it.
- Abstract（参考訳）: トレーニングはネットワークの予測を変更し、内部ユニットにタスク関連構造を割り当てる。
過度にパラメータ化されたReLUネットワークでは、複数のニューロンが全く同じ機能的役割から始めることができるが、一方は教師の特徴を取得し、他方は冗長になる。
我々は、そのニューロンの特徴的所有権のアイデンティティを呼び出し、初期予測子に見えないパラメータ選択によって制御できるかどうかを問う。
トラクタブルなガウス教師-学生モデルでは、完全初期関数を固定し、正の等質スケーリングゲージだけを変化させる。
対向ゲージは異なる特徴軌跡を生じさせ、シャープな$(D^2)$を特殊化時間に分離することで、クロックのグローバルな変化は説明できない。
初期の重複した学生の固定数の内、好適なゲージを1つのニューロンに割り当てると、決定論的にそれを所有者として選択し、残りの機能的寄与をゼロに駆動する。
正確な反応-輸送分解は、特徴係数と方向を変えるために異なるモビリティに作用する。
我々は,大域的選択と機能的プルーニングを証明し,有限時間選択を目に見える摂動と小段階のフルバッチ勾配に拡張し,人口と有限サンプルトレーニングにおける予測損失,アライメント,プルーニング,散逸軌跡を検証した。
従って、初期予測子は、その特徴がいつ学習されたか、どのニューロンがそれを学習したかを決定する。
関連論文リスト
- Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy [37.56003520528009]
教師と学生のネットワークでは、MEは教師の一貫性の最小限の表現を回復し、余分なユニットを保持する。
非線形ガウスプロセスタスクでは、MEはトレーニング間で好ましいクラスシフトを持つコヒーレントな機能クラスマッピングを選択する。
このタスクと変換拡張MNISTでは、ME-selectedworksは等しい大きさのランダムなサブセットより優れている。
論文 参考訳（メタデータ） (2026-09-04T13:25:58Z) - Debiased neural operators for estimating functionals [55.79111577184338]
本稿では,ニューラル演算子から得られる解軌跡の定量化のための半値推定器であるDOPEを紹介する。
DOPEとは対照的に、単純なプラグイン推定は1次バイアスに悩まされる可能性がある。
そこで我々は, ニューラル作用素を関数空間間の高次元ニュアンスマッピングとして扱う新しい一段階, ニーマン直交推定器を導出した。
論文 参考訳（メタデータ） (2026-04-21T10:02:36Z) - Exploring the Dimensions of a Variational Neuron [0.0]
本稿では,局所確率計算単位として定式化された変分分布ニューロンであるEVEを紹介する。
Eveには内部診断と制約があり、有効KL、m2の標的バンド、帯域外分数、ドリフトと崩壊の指標がある。
本論文は, 変動ニューロンによって開放された設計空間を, 実験的に基礎づけた第1のマップとして提供する。
論文 参考訳（メタデータ） (2026-03-14T09:09:13Z) - A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。
これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
論文 参考訳（メタデータ） (2024-10-24T17:24:34Z) - Dimension-independent learning rates for high-dimensional classification
problems [53.622581586464634]
各RBV2$関数は、重みが有界なニューラルネットワークによって近似可能であることを示す。
次に、分類関数を近似した有界重みを持つニューラルネットワークの存在を証明する。
論文 参考訳（メタデータ） (2024-09-26T16:02:13Z) - Learning a Neuron by a Shallow ReLU Network: Dynamics and Implicit Bias
for Correlated Inputs [5.7166378791349315]
我々は、単一ニューロンを学習する基本的な回帰タスクとして、1つの隠れた層ReLUネットワークをトレーニングすると、損失がゼロとなることを証明した。
また、最小ランクの補間ネットワークと最小ユークリッドノルムの補間ネットワークのこの設定において、驚くべき区別を示し、特徴付ける。
論文 参考訳（メタデータ） (2023-06-10T16:36:22Z) - Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。
本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
論文 参考訳（メタデータ） (2021-12-23T17:04:12Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Causal Inference Under Unmeasured Confounding With Negative Controls: A
Minimax Learning Approach [84.29777236590674]
すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。
最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
論文 参考訳（メタデータ） (2021-03-25T17:59:19Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - No one-hidden-layer neural network can represent multivariable functions [0.0]
ニューラルネットワークによる関数近似において、各隠れ層ユニットのパラメータを最適化することにより、入力データセットを出力インデックスにマッピングする。
整列線形単位(ReLU)アクティベーション関数を持つ一隠れ層ニューラルネットワークの連続バージョンを構築することにより、パラメータとその第2の導関数に制約を与える。
論文 参考訳（メタデータ） (2020-06-19T06:46:54Z) - Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。
特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
論文 参考訳（メタデータ） (2020-06-08T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。