論文の概要: Geometry of Human Perceptual Domains Emerges Transiently in LLM Representations

• arxiv url: http://arxiv.org/abs/2605.27970v1
• Date: Wed, 27 May 2026 05:04:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.759564
• Title: Geometry of Human Perceptual Domains Emerges Transiently in LLM Representations
• Title（参考訳）: LLM表現に過渡的に現れる人間の知覚領域の幾何学
• Authors: Simardeep Singh, Paras Chopra,
• Abstract要約: 本研究では,オープンウェイトトランスアーキテクチャの残流における知覚的モダリティに対応する固有幾何学構造の出現について検討する。 複数の知覚領域にまたがる階層的幾何学構造の出現を観察する。 これにより、人間のような知覚幾何学が大きな言語モデルでどのように、どこで起こるか、という新たな洞察が得られる。
• 参考スコア（独自算出の注目度）: 1.503974529275767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models (LLMs) are trained purely on textual data, prior work has shown that their internal representations can exhibit rich geometric structure in embedding space. Building on this line of work, we investigate whether such structure is similar to human perceptual organisation across different domains (e.g., color, pitch, emotion, and taste). Specifically, we study the layer-wise emergence of intrinsic geometrical structure corresponding to perceptual modalities within the residual streams of multiple open-weight transformer architectures. Our results reveal three key findings. First, we observe the emergence of layer-wise geometric structure across multiple perceptual domains, despite the absence of any direct perceptual supervision during training. Second, these perceptual domains exhibit distinct emergence profiles, with both geometric structure and its alignment with human baselines following domain- and model-specific trajectories across depth. Third, this emergence follows a consistent representational trajectory: geometry is weak or diffuse in early layers, becomes progressively organised in intermediate layers, and is attenuated in later layers, suggesting that perceptual geometry arises transiently as part of the model's internal transformation pipeline. This provides new insight into how and where human-like perceptual geometry arises in LLMs, offering a principled pathway for mechanistic analysis of internal representations.
• Abstract（参考訳）: 大規模言語モデル(LLM)はテキストデータに基づいて純粋に訓練されているが、先行研究により、内部表現は埋め込み空間にリッチな幾何学的構造を示すことが示されている。 このような構造が、異なる領域(例えば、色、ピッチ、感情、味など)にまたがる人間の知覚組織に類似しているかどうかを調査する。 具体的には,複数のオープンウェイトトランスアーキテクチャの残流における知覚的モダリティに対応する固有幾何学構造の階層的出現について検討する。 以上の結果から3つの重要な知見が得られた。 まず,複数の知覚領域にまたがる階層的幾何学的構造の出現を観察する。 第二に、これらの知覚ドメインは、幾何学的構造と、深度をまたいだドメインやモデル固有の軌跡に続く人間のベースラインとの整合性の両方で、異なる出現プロファイルを示す。 第3に、この出現は一貫した表現軌道に従う: 幾何学は初期の層では弱いか拡散し、中間層では徐々に組織化され、後の層では減衰し、知覚幾何学はモデルの内部変換パイプラインの一部として過渡的に現れることを示唆する。 このことは、人間のような知覚幾何学がLLMにどのように出現し、どのようにして生じるかについての新しい洞察を与え、内部表現の力学解析のための原則化された経路を提供する。

関連論文リスト

• Uncovering the Latent Potential of Deep Intermediate Representations [16.988545433223933]
  タスク関連情報は,非単調に層に分散し,ナブアグリゲーションによって回復できないことを示す。 本稿では,タスク識別サブ空間を識別する構成的スペクトル法であるレイヤワイズ最適埋め込み選択(LOES)を紹介する。 提案手法は,意味的因子を層に分散させることで,言語間およびモーダル間の解釈可能性の分析を可能にする。
  論文  参考訳（メタデータ） (2026-05-21T20:58:42Z)
• Geometry-aware Prototype Learning for Cross-domain Few-shot Medical Image Segmentation [11.12183614587322]
  クロスドメイン少ショット医療画像セグメンテーション(CD-FSMIS)は、新しい解剖学的カテゴリと見えない画像領域を同時に一般化するモデルを必要とする。 既存の原型的アプローチは、必然的に解剖学的構造とドメイン固有の外観変化を絡み合わせる。 幾何対応のCD-FSMISフレームワークであるGeoProtoを提案する。
  論文  参考訳（メタデータ） (2026-05-11T17:32:26Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• GeoGNN: Quantifying and Mitigating Semantic Drift in Text-Attributed Graphs [59.61242815508687]
  テキスト分散グラフ(TAG)上のグラフニューラルネットワーク(GNN)は、事前訓練された言語モデル(PLM)を使用してノードテキストを符号化し、これらの埋め込みを線形近傍アグリゲーションを通じて伝播する。 本研究は,意味的ドリフトの度合いを計測する局所PCAベースの計量を導入し,異なる凝集機構が多様体構造にどのように影響するかを解析するための最初の定量的枠組みを提供する。
  論文  参考訳（メタデータ） (2025-11-12T06:48:43Z)
• The Neural Differential Manifold: An Architecture with Explicit Geometric Structure [8.201374511929538]
  本稿では,その基本設計に幾何学的構造を明示的に組み込んだニューラルネットワークアーキテクチャであるニューラル微分マニフォールド(NDM)を紹介する。 我々は、より効率的な最適化の可能性、継続学習の強化、科学的発見と制御可能な生成モデルへの応用など、このアプローチの理論的利点を分析する。
  論文  参考訳（メタデータ） (2025-10-29T02:24:27Z)
• Geometric Origins of Bias in Deep Neural Networks: A Human Visual System Perspective [1.7315645623674356]
  ディープニューラルネットワーク(DNN)におけるバイアス形成は、依然として批判的だが理解されていない課題である。 人間の視覚システムに触発されて,クラス固有の知覚マニフォールドの幾何学的複雑さをモデルバイアスに結びつける幾何学的分析フレームワークを提案する。 この解析を支援するために,知覚多様体の幾何学的性質を計算するために設計された知覚多様体幾何学ライブラリを提案する。
  論文  参考訳（メタデータ） (2025-02-17T13:54:02Z)
• A Hitchhiker's Guide to Geometric GNNs for 3D Atomic Systems [87.30652640973317]
  原子系の計算モデリングの最近の進歩は、これらを3次元ユークリッド空間のノードとして埋め込まれた原子を含む幾何学的グラフとして表現している。 Geometric Graph Neural Networksは、タンパク質構造予測から分子シミュレーション、物質生成まで、幅広い応用を駆動する機械学習アーキテクチャとして好まれている。 本稿では,3次元原子システムのための幾何学的GNNの分野について,包括的で自己完結した概要を述べる。
  論文  参考訳（メタデータ） (2023-12-12T18:44:19Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• UCLID-Net: Single View Reconstruction in Object Space [60.046383053211215]
  三次元潜在空間を保存する幾何学的空間の構築は,オブジェクト座標空間における大域的形状規則性と局所的推論を同時に学習する上で有効であることを示す。 ベンチマーク目的でよく使用されるShapeNet合成画像と、我々のアプローチが最先端の画像より優れている実世界の画像の両方を実証する。
  論文  参考訳（メタデータ） (2020-06-06T09:15:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。