論文の概要: Geometric Properties of Neural Multivariate Regression

• arxiv url: http://arxiv.org/abs/2510.01105v1
• Date: Wed, 01 Oct 2025 16:50:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.67644
• Title: Geometric Properties of Neural Multivariate Regression
• Title（参考訳）: ニューラル多変量回帰の幾何学的特性
• Authors: George Andriopoulos, Zixuan Dong, Bimarsha Adhikari, Keith Ross,
• Abstract要約: 崩壊モデルではID_H ID_Yが示され、過剰圧縮と一般化が不十分になる。 特徴次元を拡大または縮小することで性能が向上する2つのレジームを同定する。
• 参考スコア（独自算出の注目度）: 3.259067345005505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural multivariate regression underpins a wide range of domains such as control, robotics, and finance, yet the geometry of its learned representations remains poorly characterized. While neural collapse has been shown to benefit generalization in classification, we find that analogous collapse in regression consistently degrades performance. To explain this contrast, we analyze models through the lens of intrinsic dimension. Across control tasks and synthetic datasets, we estimate the intrinsic dimension of last-layer features (ID_H) and compare it with that of the regression targets (ID_Y). Collapsed models exhibit ID_H < ID_Y, leading to over-compression and poor generalization, whereas non-collapsed models typically maintain ID_H > ID_Y. For the non-collapsed models, performance with respect to ID_H depends on the data quantity and noise levels. From these observations, we identify two regimes (over-compressed and under-compressed) that determine when expanding or reducing feature dimensionality improves performance. Our results provide new geometric insights into neural regression and suggest practical strategies for enhancing generalization.
• Abstract（参考訳）: ニューラル多変量回帰は、制御、ロボティクス、ファイナンスといった幅広い領域を基盤としているが、その学習された表現の幾何学はいまだに不十分である。 神経崩壊は分類の一般化に有用であることが示されているが、回帰の類似の崩壊は一貫して性能を低下させる。 この対比を説明するために、本質的な次元のレンズを通してモデルを解析する。 制御タスクと合成データセット全体にわたって、最終層特徴の固有次元(ID_H)を推定し、回帰目標(ID_Y)と比較する。 崩壊したモデルはID_H < ID_Yを示し、過圧縮や一般化の低さにつながるが、非崩壊モデルは通常ID_H > ID_Yを維持できる。 非崩壊モデルでは、ID_Hに関する性能はデータ量とノイズレベルに依存する。 これらの観察結果から,特徴次元を拡大あるいは縮小した場合,性能が向上する2つの状態(過圧縮および過圧縮)を同定した。 以上の結果から,ニューラルレグレッションに対する新たな幾何学的洞察が得られ,一般化を促進するための実践的戦略が示唆された。

関連論文リスト

• Balanced Sharpness-Aware Minimization for Imbalanced Regression [29.03225426559032]
  実世界のデータは、しばしば不均衡な分布を示し、レグレッションモデルが特に希少な観測値のターゲット値に対して不適切な結果をもたらす。 回帰モデルの均一な一般化能力を実現するために,バランスドシャープネス・アウェア最小化(BSAM)を提案する。 特に,従来のシャープネス認識の最小化から始めて,観測空間全体にわたる一般化能力を均質化するための新たな目標再重み付け戦略を導入する。
  論文  参考訳（メタデータ） (2025-08-23T09:57:07Z)
• Augmented Regression Models using Neurochaos Learning [1.534667887016089]
  本稿では,ニューロカオス学習フレームワークから派生したトレーサミア特徴を従来の回帰アルゴリズムに統合した,ニューロカオス学習(NL)を用いた新しい回帰モデルを提案する。 提案手法は,10種類の実生活データセットと,$y = mx + c + epsilon$という形式の合成データセットを用いて評価した。
  論文  参考訳（メタデータ） (2025-05-19T11:02:14Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Sparse Symmetric Tensor Regression for Functional Connectivity Analysis [13.482969034243581]
  本稿では,自由パラメータの数をさらに減らし,対称性および通常のCP回帰よりも優れた性能が得られるスパース対称テンソル回帰法を提案する。 提案手法をバークレー高齢コーホート研究(BACS)からアルツハイマー病(AD)と正常年齢の研究に適用し,ADにとって重要な2つの関心領域を検出する。
  論文  参考訳（メタデータ） (2020-10-28T02:07:39Z)
• The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization [34.235007566913396]
  現代のディープラーニングモデルでは、トレーニングデータに適合するために必要なパラメータよりもはるかに多くのパラメータが採用されている。 この予期せぬ振る舞いを記述するための新たなパラダイムは、エンファンダブル降下曲線(英語版)である。 本稿では,勾配降下を伴う広帯域ニューラルネットワークの挙動を特徴付けるニューラル・タンジェント・カーネルを用いた一般化の高精度な高次元解析を行う。
  論文  参考訳（メタデータ） (2020-08-15T20:55:40Z)
• Dimension Independent Generalization Error by Stochastic Gradient Descent [12.474236773219067]
  本稿では, 局所凸損失関数に対する降下(SGD)解の一般化誤差に関する理論を提案する。 一般化誤差は$p$次元に依存したり、低効用$p$対数因子に依存しないことを示す。
  論文  参考訳（メタデータ） (2020-03-25T03:08:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。