論文の概要: Shape Happens: Automatic Feature Manifold Discovery in LLMs via Supervised Multi-Dimensional Scaling

• arxiv url: http://arxiv.org/abs/2510.01025v1
• Date: Wed, 01 Oct 2025 15:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.643648
• Title: Shape Happens: Automatic Feature Manifold Discovery in LLMs via Supervised Multi-Dimensional Scaling
• Title（参考訳）: 形状発生:多次元走査によるLLMにおける自動特徴マニフォールド発見
• Authors: Federico Tiblias, Irina Bigoulaeva, Jingcheng Niu, Simone Balloccu, Iryna Gurevych,
• Abstract要約: 特徴多様体を自動的に検出するモデルに依存しない手法であるSupervised Multi-dimensional Scaling (SMDS)を導入する。 異なる特徴が円、線、クラスターなどの様々な幾何学構造を形成することが分かる。 本研究は,LMが構造表現を符号化し変換するエンティティベースの推論モデルをサポートする特徴多様体の機能的役割について考察した。
• 参考スコア（独自算出の注目度）: 43.70541744169649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The linear representation hypothesis states that language models (LMs) encode concepts as directions in their latent space, forming organized, multidimensional manifolds. Prior efforts focus on discovering specific geometries for specific features, and thus lack generalization. We introduce Supervised Multi-Dimensional Scaling (SMDS), a model-agnostic method to automatically discover feature manifolds. We apply SMDS to temporal reasoning as a case study, finding that different features form various geometric structures such as circles, lines, and clusters. SMDS reveals many insights on these structures: they consistently reflect the properties of the concepts they represent; are stable across model families and sizes; actively support reasoning in models; and dynamically reshape in response to context changes. Together, our findings shed light on the functional role of feature manifolds, supporting a model of entity-based reasoning in which LMs encode and transform structured representations.
• Abstract（参考訳）: 線形表現仮説は、言語モデル(LM)が、その潜在空間における方向として概念を符号化し、組織化された多次元多様体を形成することを述べる。 以前の取り組みでは、特定の特徴に対する特定の幾何学の発見に焦点が当てられ、したがって一般化が欠如している。 特徴多様体を自動的に検出するモデルに依存しない手法であるSupervised Multi-dimensional Scaling (SMDS)を導入する。 SMDSをケーススタディとして時間的推論に適用し、異なる特徴が円、線、クラスターなどの様々な幾何学的構造を形成することを発見した。 SMDSは、これらの構造に関する多くの洞察を明らかにしている。それらは、表現する概念の性質を一貫して反映し、モデルファミリやサイズにわたって安定し、モデルにおける推論を積極的にサポートし、コンテキストの変化に応じて動的に再形成する。 その結果,特徴多様体の機能的役割に光を当て,LMが構造表現をエンコードし変換するエンティティベースの推論モデルをサポートすることができた。

関連論文リスト

• PRISM: Probabilistic Representation for Integrated Shape Modeling and Generation [79.46526296655776]
  PRISMは、カテゴリー拡散モデルと統計的形状モデル(SSM)とガウス混合モデル(GMM)を統合した3次元形状生成の新しいアプローチである 本手法では,構成SSMを用いて部分レベルの幾何学的変動をキャプチャし,GMMを用いて連続空間における部分意味を表現する。 提案手法は,パートレベルの操作の品質と制御性の両方において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-06T11:48:08Z)
• Geometric Origins of Bias in Deep Neural Networks: A Human Visual System Perspective [1.7315645623674356]
  ディープニューラルネットワーク(DNN)におけるバイアス形成は、依然として批判的だが理解されていない課題である。 人間の視覚システムに触発されて,クラス固有の知覚マニフォールドの幾何学的複雑さをモデルバイアスに結びつける幾何学的分析フレームワークを提案する。 この解析を支援するために,知覚多様体の幾何学的性質を計算するために設計された知覚多様体幾何学ライブラリを提案する。
  論文  参考訳（メタデータ） (2025-02-17T13:54:02Z)
• Analyzing Finetuning Representation Shift for Multimodal LLMs Steering [56.710375516257876]
  隠れた状態を解釈可能な視覚的概念とテキスト的概念にマッピングすることを提案する。 これにより、オリジナルモデルや微調整モデルからのシフトなど、特定のセマンティックダイナミクスをより効率的に比較することが可能になります。 また,これらの変化を捉えるためにシフトベクトルを用いることを実証する。
  論文  参考訳（メタデータ） (2025-01-06T13:37:13Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• GeoMFormer: A General Architecture for Geometric Molecular Representation Learning [84.02083170392764]
  我々はこの目的を達成するためにGeoMFormerと呼ばれるトランスフォーマーに基づく新しい分子モデルを導入する。 我々は,GeoMFormerが,異なる型やスケールの不変タスクと同変タスクの両方において,高い性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-06-24T17:58:13Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。