論文の概要: Population loss in shallow ReLU networks: Bias & families of critical points

• arxiv url: http://arxiv.org/abs/2609.30661v1
• Date: Fri, 25 Sep 2026 00:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.179642
• Title: Population loss in shallow ReLU networks: Bias & families of critical points
• Title（参考訳）: 浅いReLUネットワークにおける人口減少--臨界点のバイアスと家族
• Abstract要約: Arjevaniと著者の過去の論文に記載されている様々なスプリアスミニマのファミリーがバイアスネットワークに拡張されていることが示されている。 バイアスの追加による地形形状の変化は比較的穏やかであるようである。
• 参考スコア（独自算出の注目度）: 3.0458514384586404
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The main result presented is a formula for the population loss in the student-teacher kernel model that is applicable to shallow ReLU networks with bias. This extends previous work of Choo and Saul (2009) and Brutzkus and Globerson (2017). The formula makes essential use of Owen's T-function. The necessary theory of the T-function is given and a high precision coding using MPFR for the T-function, based on an algorithm of Komelj (2023), is available on request. It is shown that various families of spurious minima described in past papers of Arjevani and the author extend to biased networks and that the loss is always strictly decreased when bias is added. The change in landscape geometry caused by adding bias appears to be relatively mild. Only the simplest examples are described in this paper where it is assumed that the number of inputs is equal to the number of neurons (this restriction is for reasons of length). A review of relevant previous results on unbiased networks is included. Aside from Gaussian statistics, the main mathematical tools and ideas come from analytic geometry (analytic and subanalytic sets, the Curve Selection Lemma).
• Abstract（参考訳）: 得られた主な結果は、偏りのある浅いReLUネットワークに適用可能な学生-教師カーネルモデルにおける人口減少の式である。 これは、Choo and Saul (2009) と Brutzkus and Globerson (2017) の以前の作品を拡張している。 この公式はオーウェンのT関数を必須に利用する。 T関数の必要理論が与えられ、コメルジュ (2023) のアルゴリズムに基づいて、T関数に対してMPFRを用いた高精度な符号化が要求される。 Arjevaniと著者の過去の論文に記載された様々なスプリアスミニマのファミリーがバイアスネットワークに拡張し、バイアスが加えられると損失は常に厳しく減少することを示した。 バイアスの追加による地形形状の変化は比較的穏やかであるようである。 最も単純な例は、入力の数がニューロンの数に等しいと仮定する(この制限は長さの理由による)。 未バイアスネットワークに関する以前の結果のレビューを含める。 ガウス統計とは別に、主要な数学的ツールとアイデアは解析幾何学(解析的および部分解析的集合、曲線選択補題)に由来する。

関連論文リスト

• How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression? [27.523011286375947]
  本稿では,高次元のランダムな特徴に対する2乗損失を伴う浅部ReLUモデルのトレーニングにおいて,勾配降下(GD)の暗黙バイアスを特徴付ける。 この2つの極性の間に補間を行い、十分に高次元のランダムなデータに対して、暗黙の偏差は高い確率で最小l2-ノルム解に近似することを示した。
  論文  参考訳（メタデータ） (2026-03-05T07:36:07Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• IBADR: an Iterative Bias-Aware Dataset Refinement Framework for Debiasing NLU models [52.03761198830643]
  IBADR(Iterative Bias-Aware dataset Refinement framework)を提案する。 まず、プール内のサンプルのバイアス度を定量化するために浅いモデルを訓練する。 次に、各サンプルにバイアス度を表すバイアス指標をペアにして、これらの拡張サンプルを使用してサンプルジェネレータを訓練する。 このようにして、このジェネレータは、バイアスインジケータとサンプルの対応関係を効果的に学習することができる。
  論文  参考訳（メタデータ） (2023-11-01T04:50:38Z)
• Penalising the biases in norm regularisation enforces sparsity [24.43739371803548]
  この研究は、関数を表すのに必要なパラメータのノルムが、その第二微分の総変分によって与えられることを示し、$sqrt1+x2$ factorで重み付けされる。 特に、この重み付け係数はバイアス項のノルムが正規化されないときに消失する。
  論文  参考訳（メタデータ） (2023-03-02T15:33:18Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Finite Sample Identification of Wide Shallow Neural Networks with Biases [12.622813055808411]
  入力-出力対の有限標本からネットワークのパラメータを同定することは、しばしばエンプテラー-学生モデル(enmphteacher-student model)と呼ばれる。 本稿では,このような幅の広い浅層ネットワークに対して,構成的手法と有限標本同定の理論的保証を提供することにより,そのギャップを埋める。
  論文  参考訳（メタデータ） (2022-11-08T22:10:32Z)
• Training Debiased Subnetworks with Contrastive Weight Pruning [45.27261440157806]
  我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T08:25:47Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• On the Implicit Biases of Architecture & Gradient Descent [46.34988166338264]
  本稿では、トレーニングデータに適合する典型的なネットワークは、既にかなり一般化されているが、勾配降下は、大きなマージンを持つネットワークを選択することにより、さらに一般化を向上させることができることを見出した。 新しい技術ツールは、アーキテクチャの暗黙のバイアスと勾配降下の両方を含む一般化の微妙なポートレートを示唆している。
  論文  参考訳（メタデータ） (2021-10-08T17:36:37Z)
• Greedy Gradient Ensemble for Robust Visual Question Answering [163.65789778416172]
  VQA(Visual Question Answering)では、分布バイアスとショートカットバイアスという2つの側面から生じる言語バイアスを強調している。 本稿では,非バイアスベースモデル学習に複数のバイアスモデルを組み合わせた新しいデバイアスフレームワークGreedy Gradient Ensemble(GGE)を提案する。 GGEはバイアス付きモデルを優先的にバイアス付きデータ分布に過度に適合させ、バイアス付きモデルでは解決が難しい例にベースモデルがより注意を払う。
  論文  参考訳（メタデータ） (2021-07-27T08:02:49Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。