論文の概要: Estimating Dimensionality of Neural Representations from Finite Samples

• arxiv url: http://arxiv.org/abs/2509.26560v1
• Date: Tue, 30 Sep 2025 17:26:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.637264
• Title: Estimating Dimensionality of Neural Representations from Finite Samples
• Title（参考訳）: 有限標本からのニューラル表現の次元推定
• Authors: Chanwoo Chun, Abdulkadir Canatar, SueYeon Chung, Daniel Lee,
• Abstract要約: グローバル次元の一般的な尺度である固有値の参加比率は,小さいサンプルサイズで非常に偏りが強いことを示す。 有限サンプルと雑音でより高精度なバイアス補正推定器を提案する。 我々は、カルシウムイメージング、電気生理学的記録、fMRIデータなどの脳波記録に推定器を適用した。
• 参考スコア（独自算出の注目度）: 9.91301674137102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The global dimensionality of a neural representation manifold provides rich insight into the computational process underlying both artificial and biological neural networks. However, all existing measures of global dimensionality are sensitive to the number of samples, i.e., the number of rows and columns of the sample matrix. We show that, in particular, the participation ratio of eigenvalues, a popular measure of global dimensionality, is highly biased with small sample sizes, and propose a bias-corrected estimator that is more accurate with finite samples and with noise. On synthetic data examples, we demonstrate that our estimator can recover the true known dimensionality. We apply our estimator to neural brain recordings, including calcium imaging, electrophysiological recordings, and fMRI data, and to the neural activations in a large language model and show our estimator is invariant to the sample size. Finally, our estimators can additionally be used to measure the local dimensionalities of curved neural manifolds by weighting the finite samples appropriately.
• Abstract（参考訳）: 神経表現多様体の大域的次元性は、人工ニューラルネットワークと生物学的ニューラルネットワークの両方の基礎となる計算過程に関する豊富な洞察を与える。 しかし、地球次元のすべての既存の測度はサンプルの数、すなわちサンプル行列の行数や列数に敏感である。 特に,大域的次元の一般的な尺度である固有値の参加比は,小さいサンプルサイズで非常に偏りが強く,有限サンプルと雑音でより精度の高い偏り補正推定器を提案する。 合成データの例では、推定器が真に既知の次元を復元できることが示される。 我々は, カルシウムイメージング, 電気生理学的記録, fMRIデータなどの脳波記録や, 大規模言語モデルにおけるニューラル・アクティベーションにも応用し, 試料サイズに不変な推定値を示す。 最後に、我々の推定器は、有限標本を適切に重み付けすることで、曲線型ニューラル多様体の局所的次元を測定するためにも利用できる。

関連論文リスト

• Neighborhood Sampling Does Not Learn the Same Graph Neural Network [7.312174450290588]
  大規模グラフニューラルネットワークのトレーニングにおいて,近傍サンプリングは重要な要素である。 提案手法は,複数の近傍サンプリング手法と,それに対応する後方GPについて検討する。
  論文  参考訳（メタデータ） (2025-09-26T19:28:13Z)
• Disentangle Sample Size and Initialization Effect on Perfect Generalization for Single-Neuron Target [2.8948274245812335]
  2層ニューラルネットワークにおける単一ニューロンターゲットリカバリシナリオに着目した。 実験の結果,より小さなスケールが一般化に結びついていることが判明した。 この結果から,対象関数の回復能力の推移が示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:12:28Z)
• Neural network enhanced measurement efficiency for molecular groundstates [63.36515347329037]
  いくつかの分子量子ハミルトニアンの複雑な基底状態波動関数を学習するために、一般的なニューラルネットワークモデルを適用する。 ニューラルネットワークモデルを使用することで、単一コピー計測結果だけで観測対象を再構築するよりも堅牢な改善が得られます。
  論文  参考訳（メタデータ） (2022-06-30T17:45:05Z)
• Efficient quantum state tomography with convolutional neural networks [0.0]
  我々は,情報的に完全な測定結果に対する確率分布の近似に依存する量子状態トモグラフィー手法を開発した。 実験データから直接推定した場合と比較して,観測可能量の推定誤差を最大で1桁低減する。
  論文  参考訳（メタデータ） (2021-09-28T14:55:54Z)
• Efficient Multidimensional Functional Data Analysis Using Marginal Product Basis Systems [2.4554686192257424]
  多次元関数データのサンプルから連続表現を学習するためのフレームワークを提案する。 本研究では, テンソル分解により, 得られた推定問題を効率的に解けることを示す。 我々は、ニューロイメージングにおける真のデータ応用で締めくくっている。
  論文  参考訳（メタデータ） (2021-07-30T16:02:15Z)
• Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
  我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。 そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T19:51:59Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning [52.624194343095304]
  我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。 実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
  論文  参考訳（メタデータ） (2020-12-22T07:42:30Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。