論文の概要: Brownian Heads for Deep ReLU Representations: Activation Mass and the Cost of Same-Sample Selection

• arxiv url: http://arxiv.org/abs/2609.21422v1
• Date: Fri, 18 Sep 2026 07:32:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.896319
• Title: Brownian Heads for Deep ReLU Representations: Activation Mass and the Cost of Same-Sample Selection
• Title（参考訳）: 深部ReLU表現のためのブラウンヘッド--アクティベーション質量と同一サンプル選択のコスト-
• Abstract要約: 深部ReLU表現の条件付き経験的Rademacher複雑性と有界ノルム予測器について検討した。 固定表現に対しては、アクティベーション質量という観点から、正確な双対恒等式と鋭い境界を導出する。 実験では、シャープな境界とレートを検証し、一定の活性化質量で選択ギャップを示し、ブラウンヘッドの予測可能性を評価する。
• 参考スコア（独自算出の注目度）: 0.7090165638014329
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep representation learning often selects hidden features and fits the final predictor on the same sample, so fixed-feature analysis performed after selection can omit selection cost. We study the conditional empirical Rademacher complexity of deep ReLU representations followed by bounded-norm predictors in additive or Lévy-Brownian RKHSs, termed Brownian heads. For a fixed representation, we derive an exact dual identity and sharp bounds in terms of activation mass, the average norm of the observed hidden vectors. Under same-sample selection, the representation supremum induces a quadratic Rademacher process. Brownian layer-cake and Gaussian-projection identities reduce it to coordinatewise or signed projected threshold traces, separating realized scale from selection complexity. For samples with pairwise-distinct inputs, explicit scalar ReLU families match the finite-trace and VC rates up to universal constants at the realized trace-and-envelope level. Induced-norm contraction also yields architecture-level bounds for rectangular, rank-deficient ReLU networks. Experiments verify the sharp bounds and rates, exhibit a selection gap at fixed activation mass, and assess the predictive feasibility of Brownian heads.
• Abstract（参考訳）: 深層表現学習はしばしば隠れた特徴を選択し、最終予測器を同じサンプルに適合させるため、選択後の固定機能解析は選択コストを省くことができる。 深部ReLU表現の条件付き経験的ラデマッハ複雑性について検討し, 加法あるいはレヴィ・ブラウンRKHSにおける有界ノルム予測器について検討した。 固定表現に対しては、観測された隠れベクトルの平均ノルムである活性化質量という観点から、正確な双対恒等式と鋭い境界を導出する。 同じサンプル選択の下で、表現上限は二次ラデマチャー過程を誘導する。 ブラウン層ケーキとガウス射影恒等性は、座標的あるいは符号付き射影しきい値トレースに還元し、実現されたスケールを選択複雑性から分離する。 ペアワイズな入力を持つサンプルの場合、明示的なスカラー ReLU 族は有限トレースとVC の速度を、実現されたトレース・アンド・エンベロープレベルでの普遍定数に一致させる。 誘導ノルム収縮はまた、長方形で階数不足のReLUネットワークに対してアーキテクチャレベルの境界をもたらす。 実験では、シャープな境界とレートを検証し、一定の活性化質量で選択ギャップを示し、ブラウンヘッドの予測可能性を評価する。

関連論文リスト

• Phase Transition in Binary Compressed Sensing via Annealing with Adaptive Regularization [0.7734726150561088]
  正規化選択は、バイナリ圧縮センシングの回復相図を変更する。 本研究では,系統的なパラメータ探索とランダムな森林回帰を組み合わせた正規化-選択法を開発した。
  論文  参考訳（メタデータ） (2026-09-15T06:35:58Z)
• When Does Low-Bit Quantization Preserve the Decisions of Vector Search? [13.71460633144793]
  低ビット量子化は、いくつかのベクトル表現において高いリコールを達成することができ、他のベクトル表現では急激に失敗する。 本稿では,ランク付けアルゴリズムとグラフ解析アルゴリズムによる比較値の量化ベクトル探索について検討する。 学習された古典的、合成的な埋め込み全体において、標準化された正確なマージンは、ホールドアウトランキングとプルーニングフリップレートを、グローバルなランク相関よりもかなり良く予測する。
  論文  参考訳（メタデータ） (2026-09-09T08:06:50Z)
• Amortized Bandwidth Learning for Kernel Density Estimation under Logarithmic Score [0.0]
  対数スコアを最適化することにより,密度推定タスクの分布のマッピングを学習するアモータイズフレームワークを提案する。 ガウス的サンプリング、多系列ベンチマーク、ランダム化ガウス混合訓練による実験は、補正されたセレクタがシルバーマンの規則を一貫して、実質的に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-20T15:56:59Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
  本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。 理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
  論文  参考訳（メタデータ） (2026-02-08T00:09:40Z)
• Permutation recovery of spikes in noisy high-dimensional tensor estimation [5.464669506214196]
  マルチスパイクテンソル問題に対する高次元流れのダイナミクスについて検討する。 我々の研究は, 正確な回収に必要なSNRの試料分離条件を決定する論文[Ben A, Gerbelot, Langevin]に基づく。
  論文  参考訳（メタデータ） (2024-12-19T08:59:49Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。