論文の概要: Invertible Graph Aggregation Can Increase ReLU Readout Width
- arxiv url: http://arxiv.org/abs/2611.02274v1
- Date: Sun, 01 Nov 2026 22:57:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 05:19:01.869907
- Title: Invertible Graph Aggregation Can Increase ReLU Readout Width
- Title（参考訳）: Invertible Graph AggregationはReLU読み出し幅を増大させる
- Abstract要約: 可逆グラフアグリゲーションは、完全な特徴テーブルを保存する。
ローマ帝国とトロケスでは、集約は適切な予測を改善する。
トレーニング専用診断には、8つの固定実行に対する条件付き出力層最適性境界が含まれる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An invertible graph aggregation preserves the complete feature table, but can increase the size of a classifier that reads one node at a time. For every even $N\ge4$, we construct a labeled tree with $2N$ vertices and maximum degree three. A shared one-hidden-layer rectified linear unit (ReLU) classifier needs one hidden unit on the raw scalar features and exactly $N$ units after one lazy neighborhood mean. All aggregate values are distinct, and the mixing matrix has condition number at most 8. We determine the complete error curve for heads with a free affine term. The width separation persists under scalar perturbations. Under a specified bounded uniform-noise model with one nuisance coordinate, every one-unit aggregate head has expected error at least $1/12$, while a fixed $N$-unit head has zero error. Controlled fits compare trained heads with these explicit feasible scores. On Roman-empire and Tolokers, aggregation improves fitted prediction, and retaining raw features helps at the largest tested parameter budget. Training-only diagnostics include conditional output-layer optimality bounds for eight fixed runs.
- Abstract（参考訳）: 可逆グラフ集約は、完全な特徴テーブルを保存するが、一度に1つのノードを読み取る分類器のサイズを増やすことができる。
たとえ$N\ge4$であっても、2N$頂点と最大次数3のラベル付きツリーを構築する。
共有一層整流線形単位(ReLU)分類器は、生のスカラー特徴に1つの隠れ単位を必要とし、1つの遅延近傍平均の後に正確に$N$単位を必要とする。
すべての集合値は異なるものであり、混合行列は条件番号が8である。
自由アフィン項による頭部の完全誤差曲線を決定する。
幅分離はスカラー摂動の下で持続する。
1つのニュアンス座標を持つ有界均一ノイズモデルの下では、各1ユニット集約ヘッドは少なくとも1/12$の誤差を期待でき、固定された$N$単位ヘッドはゼロエラーを持つ。
制御されたフィットは、トレーニングされた頭とこれらの明示可能なスコアを比較します。
ローマ・ローマ帝国とトロケスでは、アグリゲーションは適合した予測を改善し、生のフィーチャを維持することが最大のパラメーター予算で役立つ。
トレーニング専用診断には、8つの固定実行に対する条件付き出力層最適性境界が含まれる。
関連論文リスト
- Geometry-Dependent Bounds for Online Non-Monotone DR-Submodular Maximization [55.29259818039367]
凸閉集合上の逆オンライン非負の非単調DR-部分モジュラ函数について検討する。
学習者は、目的を観察する前に各アクションを学習し、後から最高の固定アクションと競合する。
定数対物列は、最適に多くの1次クエリでオフラインの$(4/9-varepsilon)$近似を生成する。
論文 参考訳（メタデータ） (2026-09-30T18:26:29Z) - Certified Approximation for Interpretable Representer Landmarks [7.769050475854741]
大規模では、このランク付けは経験的ニューラルネットワークカーネル(eNTK)の最大4つの重ねた近似に基づいている。
スケッチされたマルチヘッド eNTK の正確なばらつきは、Johnson-Lindenstrauss が err で最大$2.5times$ の値に一致する。
これにより、固定係数に適合する確率の高い最高額のK$証明書と、捨てられたスペクトル質量の正確な残留トレース証明書が得られる。
論文 参考訳（メタデータ） (2026-09-30T03:49:20Z) - Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。
コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
論文 参考訳（メタデータ） (2026-09-23T22:25:52Z) - The Approximation Rank of Softmax Attention: Sharp Geometric Laws and Robust Interaction Dimension [6.5186553168895385]
2つの鋭い最悪のケース法則は、固定$d$とエラー$varepsilon$のサポート幾何学を分離する。
固定ヘッドの場合、行-softmaxは行-スカラーロジット方向を商化する。
84ヘッドのBERTベースキャリブレーションセットでは、多くのヘッド温度設定において、控えめな有効次元の低減が観察される。
論文 参考訳（メタデータ） (2026-08-28T10:12:54Z) - Near-Optimal Dimension Lower Bounds for Single-Vector Embeddings of Maximum Inner Product Similarity [75.14269295861845]
シングルトンクエリでは、Chamferは最大内部積類似度(MAX-IP)になる。
すべての固定$in(0,1)$に対して、定数は$A_,c_>0$である。
単位球MAX-IPマトリクスは、DNFパターンマトリクスの正確な2値アフィンイメージであり、少なくとも8ドルのギャップがある。
論文 参考訳（メタデータ） (2026-07-22T17:27:20Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。
我々は悲観的な収束分析を避ける分析を提供する。
我々の成果は、既存の最先端の体制を改善した。
論文 参考訳（メタデータ） (2026-06-14T14:11:07Z) - Monotone Classification with Relative Approximations [4.750077838548594]
単調な分類では、入力は$mathbbRd$の複数セットの$P$であり、それぞれが$-1, 1$の隠れラベルに関連付けられている。
目標は、分類子として機能するモノトン関数 $h$ を、小さなエムエラーで $mathbbRd$ から $-1, 1$ にマッピングすることである。
論文 参考訳（メタデータ） (2025-06-12T14:51:14Z) - Self-Directed Linear Classification [50.659479930171585]
オンライン分類では、学習者は、誤りの総数を最小限に抑えるために、オンラインでラベルを予測することを目的としている。
そこで本研究では,予測順序の選択能力について検討し,最低次学習とランダム次学習の分離を初めて確立する。
論文 参考訳（メタデータ） (2023-08-06T15:38:44Z) - Tight bounds for maximum $\ell_1$-margin classifiers [10.055143995729415]
適応性は、標準的な識別的設定に対する最大$ell_$-margin分類器には適用されないことを示す。
ノイズを補間すると、誤差は次数$frac1sqrtlog(d/n)$で消滅する。
論文 参考訳（メタデータ） (2022-12-07T17:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。