論文の概要: Representation Complexity Along Learning Trajectories: Trading Width for Precision and Time
- arxiv url: http://arxiv.org/abs/2610.39027v1
- Date: Wed, 28 Oct 2026 23:01:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.430891
- Title: Representation Complexity Along Learning Trajectories: Trading Width for Precision and Time
- Title(参考訳): 学習軌跡に沿った表現複雑性--精度と時間のトレーディング幅
- Abstract要約: 情報平面解析は、ニューラルネットワークが最終的な予測器よりもかなり複雑な表現を横切ることができることを示唆している。
この過渡的複雑性が、予測に必要な表現複雑性と、未知のターゲットを統計的に可視化するために必要な表現複雑性を比較することによって、計算目的を果たすかを検討する。
- 参考スコア(独自算出の注目度): 5.520927473144737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What computational role does overparameterisation play during learning? Information-plane analyses suggest that neural networks can traverse representations substantially more complex than those required by their final predictors. We explore when this transient complexity serves a computational purpose by comparing the representation complexity needed for prediction with that needed to make an unknown target statistically visible through gradient feedback. We introduce an oracle model of neural network learning and use Kolmogorov \(n\)-widths to quantify effective representation complexity. Our main technical result transfers complexity bounds from the forward representation to the corresponding gradient-query features. Combined with statistical-query lower bounds, this gives a task-agnostic lower bound on the initial effective width required for target-dependent gradient information to become detectable. For \(k\)-sparse parity in \(D\) dimensions, a known target admits an \(O(k)\)-width representation, while the general bound already implies a polynomial separation between representation and discovery. We then exploit parity's invariance under coordinatewise sign reflections to identify a sharper unsigned effective width, which removes sign distinctions invisible to the parity information channel. At a transfer-compatible measurement resolution, its critical scale is \(\widetildeΘ_k\left( D^{k-1}τ^2 \right)\), up to logarithmic factors. Thus, the representation resources required to discover a predictor can substantially exceed those required to represent it once learned. Interpreting precision through accumulation over fresh samples yields a corresponding width-time frontier. Experiments support the predicted dimension dependence and examine how optimisation and generalisation depart from this idealised frontier.
- Abstract(参考訳): オーバーパラメータ化は学習中にどのような計算的役割を果たすか?
情報平面解析は、ニューラルネットワークが最終的な予測器で要求されるものよりもかなり複雑な表現を横切ることができることを示唆している。
この過渡的複雑性が、予測に必要な表現複雑性と、勾配フィードバックを通じて未知の目標を統計的に可視化するために必要な表現複雑性を比較することによって、計算目的を果たすかを検討する。
ニューラルネットワーク学習のオラクルモデルを導入し,Kolmogorov \(n\)-widthsを用いて効率的な表現複雑性の定量化を行う。
我々の主要な技術的結果は、複雑性境界を前方表現から対応する勾配-クエリー特徴に転送する。
統計的クエリの下位境界と組み合わせることで、目標依存勾配情報に必要な初期有効幅のタスク非依存の下位境界が検出可能となる。
\(D\)次元における \(k\)-スパースパリティに対して、既知の対象は \(O(k)\)-幅表現を許容するが、一般境界は表現と発見の間の多項式分離を既に意味している。
次に、座標方向の符号反射下でのパリティの不変性を利用して、よりシャープな符号のない有効幅を識別し、パリティ情報チャネルに見えない符号の区別を除去する。
転送互換な測定解像度では、その臨界スケールは対数的因子を除いて \(\widetilde:_k\left(D^{k-1}τ^2 \right)\) である。
したがって、予測子を見つけるのに必要な表現リソースは、一度学習したらそれを表現するのに必要なリソースをはるかに上回ることができる。
新鮮なサンプルの蓄積による精度の解釈は、対応する幅時間フロンティアを生み出す。
実験は予測された次元依存をサポートし、最適化と一般化がこの理想化されたフロンティアからどのように離れているかを調べる。
関連論文リスト
- Representation Gap: Explaining the Unreasonable Effectiveness of Neural Networks from a Geometric Perspective [1.8618013369281987]
一般化誤差と密接な関係を持つ計量であるRepresentation Gapを導入する。
我々はRepresentation Gapの正確な等価性を導出し、それがタスクのテクスト内在次元である単一のパラメータによって支配されていることを示す。
このダイナミクスは、幅広いタスクやトレーニングアルゴリズムにまで拡張されていることも示しています。
論文 参考訳(メタデータ) (2026-05-20T19:51:25Z) - SAND: Spatially Adaptive Network Depth for Fast Sampling of Neural Implicit Surfaces [91.71563221166417]
入射神経表現は幾何学的モデリングには強力であるが、その実用性は高い計算コストによって制限されることが多い。
本稿では,空間適応型ネットワーク深度を用いた効率的なニューラル暗黙的幾何表現フレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-15T14:14:17Z) - Scaling Effects and Uncertainty Quantification in Neural Actor Critic Algorithms [0.0]
本研究では, アクターモデルとアクターモデルの両方に対して, 浅いニューラルネットワークを用いたニューラルアクター批判アルゴリズムについて検討する。
ネットワーク幅やトレーニングの回数が無限大になる傾向にあるため,ネットワーク出力の収束特性を様々なスケーリング方式で比較する。
論文 参考訳(メタデータ) (2026-01-25T19:06:49Z) - Efficient graph-diagonal characterization of noisy states distributed over quantum networks via Bell sampling [0.10486135378491267]
グラフ状態は、量子ネットワークにおける分散情報処理と通信の鍵となる、絡み合った状態の重要なクラスである。
本稿では,Bellサンプリングサブルーチンを用いて,ネットワークに分散したノイズグラフ状態のグラフベースにおける対角要素を特徴付けるプロトコルを提案する。
論文 参考訳(メタデータ) (2025-12-07T04:19:09Z) - Learning with Shared Representations: Statistical Rates and Efficient Algorithms [13.643155483461028]
潜在共有表現による協調学習により、異種クライアントは、サンプルサイズを減らしながら、パフォーマンスを向上したパーソナライズされたモデルをトレーニングできる。
経験的成功と広範な研究にもかかわらず、統計誤差率の理論的理解は、低次元線型部分空間に制約された共有表現でさえも不完全である。
論文 参考訳(メタデータ) (2024-09-07T21:53:01Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳(メタデータ) (2023-06-01T15:18:55Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Meta-Learning Sparse Implicit Neural Representations [69.15490627853629]
入射神経表現は、一般的な信号を表す新しい道である。
現在のアプローチは、多数の信号やデータセットに対してスケールすることが難しい。
メタ学習型スパースニューラル表現は,高密度メタ学習モデルよりもはるかに少ない損失が得られることを示す。
論文 参考訳(メタデータ) (2021-10-27T18:02:53Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳(メタデータ) (2021-04-05T21:44:00Z) - Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。
分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
論文 参考訳(メタデータ) (2021-02-15T12:51:26Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳(メタデータ) (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。