論文の概要: Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models

• arxiv url: http://arxiv.org/abs/2602.07539v1
• Date: Sat, 07 Feb 2026 13:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.679101
• Title: Training-Driven Representational Geometry Modularization Predicts Brain Alignment in Language Models
• Title（参考訳）: 学習駆動型表現幾何学のモジュール化による言語モデルにおける脳のアライメント予測
• Authors: Yixuan Liu, Zhiyuan Ma, Likai Tang, Runmin Gan, Xinche Zhang, Jinhao Li, Chao Xie, Sen Song,
• Abstract要約: 大きな言語モデル(LLM)が人間の言語の神経表現と計算とどのように一致しているかは、認知科学における中心的な問題である。 階層を安定な低複雑クラスタと高複雑クラスタに自己組織化する幾何学的モジュラー化を同定した。 低複雑さモジュールはエントロピーと曲率の減少を特徴とし、一貫して人間の言語ネットワーク活動を予測する。
• 参考スコア（独自算出の注目度）: 10.7573063848449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How large language models (LLMs) align with the neural representation and computation of human language is a central question in cognitive science. Using representational geometry as a mechanistic lens, we addressed this by tracking entropy, curvature, and fMRI encoding scores throughout Pythia (70M-1B) training. We identified a geometric modularization where layers self-organize into stable low- and high-complexity clusters. The low-complexity module, characterized by reduced entropy and curvature, consistently better predicted human language network activity. This alignment followed heterogeneous spatial-temporal trajectories: rapid and stable in temporal regions (AntTemp, PostTemp), but delayed and dynamic in frontal areas (IFG, IFGorb). Crucially, reduced curvature remained a robust predictor of model-brain alignment even after controlling for training progress, an effect that strengthened with model scale. These results links training-driven geometric reorganization to temporal-frontal functional specialization, suggesting that representational smoothing facilitates neural-like linguistic processing.
• Abstract（参考訳）: 大きな言語モデル(LLM)が人間の言語の神経表現と計算とどのように一致しているかは、認知科学における中心的な問題である。 表現幾何学をメカニスティックレンズとして用いて, エントロピー, 曲率, fMRI の符号化をPythia (70M-1B) トレーニング全体を通して追跡することにより, この問題に対処した。 階層を安定な低複雑クラスタと高複雑クラスタに自己組織化する幾何学的モジュラー化を同定した。 低複雑さモジュールはエントロピーと曲率の減少を特徴とし、一貫して人間の言語ネットワーク活動を予測する。 このアライメントは、時間的領域(AntTemp, PostTemp)において急速かつ安定であるが、前頭葉領域(IFG, IFGorb)では遅延と動的であった。 重要なこととして、曲線の縮小は訓練の進行を制御した後でもモデル脳アライメントの堅牢な予測因子であり続けており、これはモデルスケールで強化された効果である。 これらの結果は、訓練による幾何学的再構成と時間的前頭機能特殊化を結びつけ、表現の平滑化がニューラルライクな言語処理を促進することを示唆している。

関連論文リスト

• Dynamical Systems Analysis Reveals Functional Regimes in Large Language Models [0.8694591156258423]
  大規模言語モデルは高次元内部力学を用いてテキスト生成を行う。 ほとんどの解釈可能性のアプローチは静的表現や因果的介入に重点を置いており、時間構造はほとんど探索されていない。 本稿では,自己回帰生成中のアクティベーション時系列から計算した複合動的計量について論じる。
  論文  参考訳（メタデータ） (2026-01-11T21:57:52Z)
• DiffeoMorph: Learning to Morph 3D Shapes Using Differentiable Agent-Based Simulations [2.174820084855635]
  DiffeoMorphは、形態形成プロトコルを学ぶためのエンドツーエンドの差別化可能なフレームワークである。 エージェントの集団がターゲットの3D形状に変化するように誘導する。 DiffeoMorph は最小限のキューのみを用いて様々な形状を形成可能であることを示す。
  論文  参考訳（メタデータ） (2025-12-18T23:50:42Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Geometric sparsification in recurrent neural networks [0.8851237804522972]
  大きなニューラルモデルを実行する際の計算コストを改善するための一般的なテクニックはスパース化である。 本稿では,リカレントニューラルネット(RNN)のスペーサー化手法を提案する。 変調正則化はより安定なリカレントニューラルネットを誘導し、90%以上の高忠実度モデルを実現することを示す。
  論文  参考訳（メタデータ） (2024-06-10T14:12:33Z)
• Equivariant Graph Neural Operator for Modeling 3D Dynamics [148.98826858078556]
  我々は,次のステップの予測ではなく,ダイナミックスを直接トラジェクトリとしてモデル化するために,Equivariant Graph Neural Operator (EGNO)を提案する。 EGNOは3次元力学の時間的進化を明示的に学習し、時間とともに関数として力学を定式化し、それを近似するためにニューラル演算子を学習する。 粒子シミュレーション、人間のモーションキャプチャー、分子動力学を含む複数の領域における総合的な実験は、既存の手法と比較して、EGNOの極めて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-19T21:50:32Z)
• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)
• GeoMol: Torsional Geometric Generation of Molecular 3D Conformer Ensembles [60.12186997181117]
  分子グラフからの分子の3Dコンホメーラーアンサンブルの予測は、化学情報学と薬物発見の領域において重要な役割を担っている。 既存の生成モデルは、重要な分子幾何学的要素のモデリングの欠如を含むいくつかの欠点がある。 エンド・ツー・エンド、非自己回帰、SE(3)不変の機械学習手法であるGeoMolを提案し、3Dコンバータを生成する。
  論文  参考訳（メタデータ） (2021-06-08T14:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。