論文の概要: Online Realizable Regression and Applications for ReLU Networks

• arxiv url: http://arxiv.org/abs/2602.19172v1
• Date: Sun, 22 Feb 2026 13:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.51585
• Title: Online Realizable Regression and Applications for ReLU Networks
• Title（参考訳）: ReLUネットワークにおけるオンライン実現可能な回帰と応用
• Authors: Ilan Doron-Arad, Idan Mehalel, Elchanan Mossel,
• Abstract要約: 近似三角形の不等式を満たす損失(擬似測度)下での対向モデルにおける実現可能なオンライン回帰について検討する。 我々の主な貢献は、具体的なダドリー型エントロピー積分により、$mathbbD_mathrmonl$を上界とする一般ポテンシャル法である。
• 参考スコア（独自算出の注目度）: 14.292982828097465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realizable online regression can behave very differently from online classification. Even without any margin or stochastic assumptions, realizability may enforce horizon-free (finite) cumulative loss under metric-like losses, even when the analogous classification problem has an infinite mistake bound. We study realizable online regression in the adversarial model under losses that satisfy an approximate triangle inequality (approximate pseudo-metrics). Recent work of Attias et al. shows that the minimax realizable cumulative loss is characterized by the scaled Littlestone/online dimension $\mathbb{D}_{\mathrm{onl}}$, but this quantity can be difficult to analyze. Our main contribution is a generic potential method that upper bounds $\mathbb{D}_{\mathrm{onl}}$ by a concrete Dudley-type entropy integral that depends only on covering numbers of the hypothesis class under the induced sup pseudo-metric. We define an \emph{entropy potential} $Φ(\mathcal{H})=\int_{0}^{diam(\mathcal{H})} \log N(\mathcal{H},\varepsilon)\,d\varepsilon$, where $N(\mathcal{H},\varepsilon)$ is the $\varepsilon$-covering number of $\mathcal{H}$, and show that for every $c$-approximate pseudo-metric loss, $\mathbb{D}_{\mathrm{onl}}(\mathcal{H})\le O(c)\,Φ(\mathcal{H})$. In particular, polynomial metric entropy implies $Φ(\mathcal{H})<\infty$ and hence a horizon-free realizable cumulative-loss bound with transparent dependence on effective dimension. We illustrate the method on two families. We prove a sharp $q$-vs.-$d$ dichotomy for realizable online learning (finite and efficiently achievable $Θ_{d,q}(L^d)$ total loss for $L$-Lipschitz regression iff $q>d$, otherwise infinite), and for bounded-norm $k$-ReLU networks separate regression (finite loss, even $\widetilde O(k^2)$, and $O(1)$ for one ReLU) from classification (impossible already for $k=2,d=1$).
• Abstract（参考訳）: 実現可能なオンライン回帰は、オンライン分類とは大きく異なる振る舞いをする。 マージンや確率的仮定がなくても、類似の分類問題に無限の誤り境界がある場合でも、実現可能性はメートル法的な損失の下で水平自由(有限)累積損失を強制することができる。 近似的な三角形の不等式(擬似測度)を満足する損失の下で, 対向モデルにおけるオンライン回帰の再現性について検討した。 Attias et al の最近の研究は、ミニマックス実現可能な累積損失がスケールされたリトルストーン/オンライン次元 $\mathbb{D}_{\mathrm{onl}}$ によって特徴づけられることを示しているが、この量を分析することは困難である。 我々の主な貢献は、より具体的なダドリー型エントロピー積分による上限$\mathbb{D}_{\mathrm{onl}}$の一般ポテンシャル法である。 そこで、$N(\mathcal{H},\varepsilon)$は$\varepsilon$-covering number of $\mathcal{H}$であり、すべての$c$-approximate pseudo-metric lossに対して$\mathbb{D}_{\mathrm{onl}}(\mathcal{H})\le O(c)\,\mathcal{H})$であることを示す。 特に、多項式計量のエントロピーは、$(\mathcal{H})<\infty$ であり、従って、有効次元への透明な依存を伴う地平線のない実現可能な累積空間である。 その方法を2つの家族に説明します。 私たちは鋭い$q$-vsを証明します。 -$$d$ dichotomy for realizable online learning (finite and efficient achievable $\_{d,q}(L^d)$ total loss for $L$-Lipschitz regression iff $q>d$, otherwise infinite) and for bounded-norm $k$-ReLU network separate regression (finite loss, $\widetilde O(k^2)$, and $O(1)$ for one ReLU) from classification (impossible for $k=2,d=1$)。

関連論文リスト

• Learning and Computation of $Φ$-Equilibria at the Frontier of Tractability [85.07238533644636]
  $Phi$-equilibriaは、オンライン学習とゲーム理論の中心にある、強力で柔軟なフレームワークだ。 効率的なオンラインアルゴリズムは、$textpoly(d, k)/epsilon2$ラウンドを使用して、平均$Phi$-regretを最大$epsilon$で生成することを示す。 また、オンライン設定において、ほぼ一致した下限を示し、その結果、$Phi$-regretの学習可能性を取得する偏差の族が初めて得られる。
  論文  参考訳（メタデータ） (2025-02-25T19:08:26Z)
• Near-Optimal Algorithms for Omniprediction [6.874077229518565]
  オンライン設定とオフライン設定の両方で、オムニプレディションのためのほぼ最適学習アルゴリズムを提供します。 オンライン学習アルゴリズムは、様々な尺度でほぼ最適な複雑さを実現する。 オフライン学習アルゴリズムは効率的な$(mathcalL_mathrmBV,mathcalH,varepsilon(m)$)を返す
  論文  参考訳（メタデータ） (2025-01-28T02:58:37Z)
• Iterative thresholding for non-linear learning in the strong $\varepsilon$-contamination model [3.309767076331365]
  閾値降下を用いた単一ニューロンモデル学習のための近似境界を導出する。 線形回帰問題も研究し、$sigma(mathbfx) = mathbfx$ となる。
  論文  参考訳（メタデータ） (2024-09-05T16:59:56Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Optimal Sketching Bounds for Sparse Linear Regression [116.30196615349226]
  我々は、$ell_p$ノルムや広範なヒンジ様損失関数のクラスから、様々な損失関数の下で、$k$スパース線形回帰の難読スケッチを研究する。 スパース$ell$varepsレグレッションの場合、$Theta(klog(d/k)/varepsilon2)$ rowsでスケッチの上に曖昧な分布が存在し、これは定数要素に固執することを示している。 また、$O(mu2 klog(mun d/varepsilon)/varのスケッチも示します。
  論文  参考訳（メタデータ） (2023-04-05T07:24:19Z)
• Low-degree learning and the metric entropy of polynomials [44.99833362998488]
  少なくとも$Omega(sqrtvarepsilon)2dlog n leq log mathsfM(mathscrF_n,d,|cdot|_L,varepsilon)は2辺の推定値$c(1-varepsilon)2dlogを満たす。
  論文  参考訳（メタデータ） (2022-03-17T23:52:08Z)
• AI without networks [0.0]
  我々は、生成モデリングを取り入れたAIのためのネットワークフリーフレームワークを開発する。 我々は、この枠組みを、民族学、制御理論、数学の3つの異なる分野の例で示す。 また、生成AIによる倫理的法的課題に対処するために、この枠組みに基づいて容易に計算された信用割当手法を提案する。
  論文  参考訳（メタデータ） (2021-06-07T05:50:02Z)
• Near-Optimal SQ Lower Bounds for Agnostically Learning Halfspaces and ReLUs under Gaussian Marginals [49.60752558064027]
  ガウス境界の下では、半空間とReLUを不可知的に学習する基本的な問題について検討する。 我々の下限は、これらのタスクの現在の上限が本質的に最良のものであるという強い証拠を与える。
  論文  参考訳（メタデータ） (2020-06-29T17:10:10Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。