論文の概要: A Distribution-Free Separation Between Learned and Fixed Features

• arxiv url: http://arxiv.org/abs/2610.25335v1
• Date: Sun, 18 Oct 2026 15:27:22 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:09:32.027704
• Title: A Distribution-Free Separation Between Learned and Fixed Features
• Title（参考訳）: 学習特徴と固定特徴の分布自由分離
• Abstract要約: 固定された特徴に対して学習した特徴の計算上の優位性は、分布自由な設定で持続可能であることを示す。 我々は、2層LUネットワーク上で自然勾配に基づくアルゴリズムにより効率的に学習できる仮説クラス群を構築する。
• 参考スコア（独自算出の注目度）: 3.891921282474929
• License:
• Abstract: The success of neural networks is largely attributed to their ability to learn useful representations from training data. However, known results that prove a computational advantage of learned features over fixed ones are restricted to specific input distributions. We settle the COLT open question of Feldman, Kamath, and Srebro (2026) by showing that this advantage can persist in the distribution-free setting. We construct a family of hypothesis classes that can be efficiently learned by a natural gradient-based algorithm on a two-layer ReLU network, but cannot be represented by linear predictors over any fixed feature map with polynomial dimension (and runtime). Specifically, for any sufficiently small error and any sufficiently large runtime budget R (depending on the error), there exists a hypothesis class that the neural network learns under any input distribution to the desired expected classification error in time at most R, while the dimension complexity (governing the dimension needed by linear predictors) is superpolynomial in R.
• Abstract（参考訳）: ニューラルネットワークの成功の大部分は、トレーニングデータから有用な表現を学ぶ能力に起因している。 しかし、学習した特徴の計算上の優位性を証明する既知の結果は、特定の入力分布に制限される。 We settled the COLT open question of Feldman, Kamath, and Srebro (2026) by showed that this advantage can maintain in the distribution-free setting。 我々は、2層ReLUネットワーク上で自然勾配に基づくアルゴリズムで効率的に学習できる仮説クラス群を構築するが、多項式次元(および実行時)を持つ任意の固定特徴写像上の線形予測器では表現できない。 具体的には、十分な小さな誤差と十分なランタイム予算R(エラーに依存する)に対して、ニューラルネットワークが任意の入力分布の下で、望まれる分類誤差に対して、少なくともRで時間的に学習する仮説クラスが存在し、一方、次元複雑性(線形予測器で必要とされる次元を上回る)は、R において超多項式的である。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and Luck [35.6883212537938]
  オフラインスパースパリティ学習は,多層パーセプトロンの勾配に基づくトレーニングにおいて,統計的クエリの下限を許容する教師付き分類問題である。 理論上, 実験上, 疎初期化とネットワーク幅の増大がサンプル効率を著しく向上させることを示す。 また,合成スパースパリティタスクは,軸方向の特徴学習を必要とする現実的な問題のプロキシとして有用であることを示す。
  論文  参考訳（メタデータ） (2023-09-07T15:52:48Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
  時間内にこれらの点の1つを見つけるアルゴリズムを示す。 さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
  論文  参考訳（メタデータ） (2021-04-24T06:47:20Z)
• Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks [16.64116123743938]
  我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。 そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。 特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
  論文  参考訳（メタデータ） (2021-03-02T17:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。