論文の概要: Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain

• arxiv url: http://arxiv.org/abs/2601.22722v1
• Date: Fri, 30 Jan 2026 08:54:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.333194
• Title: Local Intrinsic Dimension of Representations Predicts Alignment and Generalization in AI Models and Human Brain
• Title（参考訳）: 局所内在的表現次元はAIモデルと人間の脳におけるアライメントと一般化を予測する
• Authors: Junjie Yu, Wenxiao Ma, Chen Wei, Jianyu Zhang, Haotian Deng, Zihan Deng, Quanying Liu,
• Abstract要約: 近年の研究では、より強い一般化を持つニューラルネットワークは、互いに高い表現的アライメントを示す傾向があることが判明している。 より強力な一般化モデルもまた、人間の神経活動とより強く一致していることを示す。 これらの関係は、学習された表現の単一の幾何学的性質、すなわち埋め込みの局所内在次元によって説明できる。
• 参考スコア（独自算出の注目度）: 14.072972213206524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has found that neural networks with stronger generalization tend to exhibit higher representational alignment with one another across architectures and training paradigms. In this work, we show that models with stronger generalization also align more strongly with human neural activity. Moreover, generalization performance, model--model alignment, and model--brain alignment are all significantly correlated with each other. We further show that these relationships can be explained by a single geometric property of learned representations: the local intrinsic dimension of embeddings. Lower local dimension is consistently associated with stronger model--model alignment, stronger model--brain alignment, and better generalization, whereas global dimension measures fail to capture these effects. Finally, we find that increasing model capacity and training data scale systematically reduces local intrinsic dimension, providing a geometric account of the benefits of scaling. Together, our results identify local intrinsic dimension as a unifying descriptor of representational convergence in artificial and biological systems.
• Abstract（参考訳）: 近年の研究では、より強力な一般化を持つニューラルネットワークは、アーキテクチャやトレーニングパラダイムを越えて、互いに表現的整合性を示す傾向があることが判明している。 本研究では,より強い一般化を持つモデルが,人間の神経活動とより強く一致することを示す。 さらに、一般化性能、モデル-モデルアライメント、モデル-ブラインアライメントは互いに有意に相関している。 さらに、これらの関係は、学習された表現の1つの幾何学的性質、すなわち埋め込みの局所内在次元によって説明できることを示す。 下限の局所次元は、より強いモデルアライメント、より強いモデルアライメント、より優れた一般化と一貫して関連している。 最後に、モデル容量の増加とトレーニングデータスケールが局所固有次元を体系的に減少させ、スケーリングの利点を幾何学的に説明できることを見出した。 そこで本研究では, 局所固有次元を, 人工・生物学的システムにおける表現収束の統一記述子として同定した。

関連論文リスト

• Universally Converging Representations of Matter Across Scientific Foundation Models [5.309886698585678]
  約60の科学的モデルによって学習された表現は、幅広い化学系に高度に整列していることを示す。 トレーニング中に見られるような入力について、ハイパフォーマンスモデルは密接に整列し、弱いモデルは表現空間において局所的な部分オプティマに発散する。 本研究は,科学モデルにおける基礎レベルの一般化の定量的ベンチマークとして,表現アライメントを確立した。
  論文  参考訳（メタデータ） (2025-12-03T12:47:06Z)
• Integrated representational signatures strengthen specificity in brains and models [8.045700364123645]
  similarity Network Fusion (SNF) は、もともとマルチオミクスデータ統合のために開発されたフレームワークである。 SNFは、単一のメートル法よりもかなりシャープな地域レベルとモデル家族レベルの分離を生成する。 SNF由来の類似度スコアを用いた皮質領域のクラスタリングは、より明確な階層構造を示す。
  論文  参考訳（メタデータ） (2025-10-21T04:37:27Z)
• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• Connecting Neural Models Latent Geometries with Relative Geodesic Representations [21.71782603770616]
  遅延構造を異なる潜在空間間で共有する場合、表現間の相対距離を歪みまで保存できることが示される。 異なるニューラルモデルは、ほぼ同じ基礎多様体をパラメータ化し、プルバック計量に基づく表現を導入すると仮定する。 本手法は,オートエンコーダと視覚基盤識別モデルを対象として,モデルの縫合と検索のタスクについて検証する。
  論文  参考訳（メタデータ） (2025-06-02T12:34:55Z)
• Learning Covariance-Based Multi-Scale Representation of Neuroimaging Measures for Alzheimer Classification [5.427921447614832]
  モデルサイズが合理的に増大した効率的な高次元空間を導出できる枠組みを提案する。 Alzheimer's Disease Neuroimaging Initiative (ADNI) による神経画像計測実験により、我々のモデルはより良い性能を示した。 トレーニングされたモデルは、マルチスケール変換上の勾配情報を用いて解釈可能とし、パーソナライズされたAD特異的領域を脳内に記述する。
  論文  参考訳（メタデータ） (2025-03-03T06:55:35Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Generalized Shape Metrics on Neural Representations [26.78835065137714]
  表現上の相似性を定量化する計量空間の族を提供する。 我々は、正準相関解析に基づいて既存の表現類似度尺度を修正し、三角形の不等式を満たす。 解剖学的特徴とモデル性能の観点から解釈可能な神経表現の関係を同定する。
  論文  参考訳（メタデータ） (2021-10-27T19:48:55Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。