論文の概要: On Learning Expand-and-Sparsify Representations

• arxiv url: http://arxiv.org/abs/2610.26470v1
• Date: Mon, 19 Oct 2026 14:18:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 03:03:07.564276
• Title: On Learning Expand-and-Sparsify Representations
• Title（参考訳）: 拡大・分離表現の学習について
• Abstract要約: 既存の理論はその写像をランダムに構築し、入力次元で指数関数的に成長するために拡張次元を必要とする。 その代わりに、勾配勾配勾配で地図を学習することで得られるものは何であるかを問う。
• 参考スコア（独自算出の注目度）: 16.46995980840911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expand-and-sparsify ($\texttt{EaS}$) representations lift an input to a much higher dimension through a linear map and keep only the $k$ largest coordinates. Existing theory builds that map at random and needs the expanded dimension to grow exponentially in the input dimension, which puts the construction out of practical reach. We ask what is gained by learning the map by gradient descent instead, and how that gain depends on how wide the expansion is. We sweep $73$ OpenML classification tasks and $48$ regression tasks under a protocol that holds the datasets, expanded dimensions, sparsity levels and splits fixed across every method, and we summarise each comparison by a median over datasets and a Wilcoxon signed rank test. We report four findings. First, learning the expansion helps most when the expansion is narrowest, and its advantage over a random map decays to nothing by the widest expansions we run, so a learned $\texttt{EaS}$ layer can be made small. Second, with the map learned, a top-$k$ representation that keeps at most a tenth of its coordinates is indistinguishable from a dense $\texttt{ReLU}$ layer of the same expanded dimension at every expansion factor we test, while GELU and SiLU are not. Third, when the representation is forced to be binary the sparse code is the better of the two, and the reason is that binarization costs it nothing while it costs the dense layer accuracy. Fourth, how sparse the representation can be is governed by how wide it is: the sparsity level that is free rises as the expansion grows, so there is no fixed limit on how sparse it can be. The regression tasks reproduce the first finding and qualify the second and third.
• Abstract（参考訳）: Expand-and-sparsify$\texttt{EaS}$) 表現は、線形写像を通して入力をはるかに高次元に引き上げ、最大座標を$k$だけ保持する。 既存の理論はその地図をランダムに構築し、入力次元で指数関数的に成長するために拡張された次元を必要とする。 その代わりに、勾配勾配勾配で地図を学習することで得られるものは何であるかを問う。 私たちは、データセット、拡張ディメンション、スパーシリティレベル、各メソッドに固定されたスプリットを保持するプロトコルの下で、73ドルのOpenML分類タスクと48ドルの回帰タスクを網羅し、データセットとウィルコクソンの署名されたランクテストに対して、各比較を中央値で要約します。 我々は4つの発見を報告した。 まず、拡張を最も狭くすると、拡張を学ぶことは最も役立ち、ランダムな写像に対する優位性は、我々が実行する最も広い拡張によって無に崩壊するので、学習した$\texttt{EaS}$層を小さくすることができる。 第二に、学習した写像において、座標の少なくとも10分の1を保持するトップ$kの表現は、テストするすべての拡大係数において同じ拡張次元の高密度な$\texttt{ReLU}$の層と区別できないが、GELUとSiLUはそうではない。 第3に、表現がバイナリであるように強制されると、スパースコードは2つより優れている。 第4に、表現がどれほどスパースであるかは、その範囲によって支配される: 拡張が大きくなるにつれて、自由である空間レベルが上昇するので、そのスパースがどの程度スパースであるかに一定の制限はない。 回帰タスクは、第1の発見と第2と第3の資格を再現する。

関連論文リスト

• Compact Geometric Representations of Hierarchies [20.884220139918014]
  任意の有向木に対して、木の大きさや深さによらず、定数次元3に埋め込まれた到達可能性が存在することを証明する。 構造グラフパラメータに依存する埋め込みを用いて階層を表現するための理論的保証を提供する。 私たちの埋め込みは、現実世界のデータセット上に構築することができ、高いリコールレシエーションにおいて、はるかに小さな次元を提供することができます。
  論文  参考訳（メタデータ） (2026-06-16T22:20:52Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• Bottleneck Structure in Learned Features: Low-Dimension vs Regularity Tradeoff [12.351756386062291]
  低次元表現の学習と特徴写像の複雑性/不規則性の最小化のバランスを定式化する。 大深度の場合、ほとんどすべての隠れ表現はおよそ$R(0)(f)$次元であり、ほとんど全ての重み行列は$W_ell$が$R(0)(f)$特異値である。 興味深いことに、大きな学習率の使用は、ほぼすべての層の表現の無限深度収束を保証する注文$O(L)$ NTKを保証するために要求される。
  論文  参考訳（メタデータ） (2023-05-30T13:06:26Z)
• Geometric Graph Representation Learning via Maximizing Rate Reduction [73.6044873825311]
  学習ノード表現は、コミュニティ検出やノード分類などのグラフ解析において、さまざまな下流タスクの恩恵を受ける。 教師なしの方法でノード表現を学習するための幾何学グラフ表現学習(G2R)を提案する。 G2R は異なるグループ内のノードを異なる部分空間にマッピングし、各部分空間はコンパクトで異なる部分空間が分散される。
  論文  参考訳（メタデータ） (2022-02-13T07:46:24Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。