論文の概要: Language Models Represent and Transform Concepts with Shared Geometry

• arxiv url: http://arxiv.org/abs/2607.04525v1
• Date: Sun, 05 Jul 2026 22:16:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.969428
• Title: Language Models Represent and Transform Concepts with Shared Geometry
• Title（参考訳）: 共有幾何学を用いた言語モデル表現と変換
• Authors: Zhimin Hu, Lanhao Niu, Sashank Varma,
• Abstract要約: ニューラルネットワークにおける概念の表現は、機械学習の基本的な問題である。 概念表現を点-クラウド多様体変換として、文脈変換をベクトル場として定式化する。 異なるスケールの6つのモデルファミリにまたがって、コンテキストがそれぞれの概念を異なる方向に移動させることが分かる。 変換される概念とこの分散構造はモデル間で共有される。
• 参考スコア（独自算出の注目度）: 1.5994376682356057
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How concepts are represented in neural networks is a fundamental question in machine learning. The dominant view treats concept representations as stationary geometric objects. Yet concepts appear in context, and context transforms them. Drawing from neural population geometry, we formalize concept representations as point-cloud manifolds and contextual transformations as vector fields, and instantiate this framework in large language models. Across six model families of varying scales, we find that context moves each concept differently. The variance in these displacements is semantically organized, correlating with lexical concreteness and density. Importantly, both the concepts being transformed and this variance structure are shared across models: displacement structure transported from one model predicts held-out displacements in others significantly above chance. Together, these findings show that models share a common geometry not only in how concepts are represented, but more importantly in how context transforms them, a structure with richer organization than prior work has recognized.
• Abstract（参考訳）: ニューラルネットワークにおける概念の表現は、機械学習の基本的な問題である。 支配的な見解は、概念表現を静止幾何学的対象として扱う。 しかし、概念は文脈に現れ、文脈はそれらを変える。 ニューラル・集団幾何学から、概念表現を点-クラウド多様体として、文脈変換をベクトル場として定式化し、この枠組みを大規模言語モデルでインスタンス化する。 異なるスケールの6つのモデルファミリにまたがって、コンテキストがそれぞれの概念を異なる方向に移動させることが分かる。 これらの変位のばらつきは、語彙的特異性と密度と関連して意味的に整理される。 重要なことに、変換される概念とこの分散構造はモデル間で共有される。 これらの結果は、モデルが概念をどのように表現するかだけでなく、コンテキストがそれらを変換する方法において共通の幾何学を共有していることを示している。

関連論文リスト

• HistLens: Mapping Idea Change across Concepts and Corpora [23.935379969646394]
  HistLensは、多概念、マルチコーパスの概念的歴史分析のための統一されたSAEベースのフレームワークである。 HistLensは、概念進化のパターンのクロスコンセプション、クロスコーパスをサポートし、暗黙的な概念計算を可能にする。
  論文  参考訳（メタデータ） (2026-04-13T17:22:02Z)
• The Representational Geometry of Number [1.5994376682356057]
  数値表現はタスク間の安定な関係構造を保っていることを示す。 タスク固有の表現は、分離可能な線形方向に沿ってエンコードされた等級のような低レベルな特徴を持つ、異なる部分空間に埋め込まれている。 このことは、タスク固有の変換が概念表現の共通基盤関係構造に適用されたときに、理解が生じることを示唆している。
  論文  参考訳（メタデータ） (2026-02-06T16:35:22Z)
• Insight: Interpretable Semantic Hierarchies in Vision-Language Encoders [52.94006363830628]
  言語対応の視覚基盤モデルは、下流の様々なタスクで強く機能する。 近年の研究では、これらの表現を人間の解釈可能な概念に分解するが、空間的接地が乏しく、画像分類に限られている。 入力画像に人間が解釈可能で空間的に接地した、きめ細かい概念を提供する言語対応概念基盤モデルであるInsightを提案する。
  論文  参考訳（メタデータ） (2026-01-20T09:57:26Z)
• A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
  解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。 両パラダイムが同じ幾何学的構造をインスタンス化することを示す。 CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
  論文  参考訳（メタデータ） (2025-12-08T09:51:46Z)
• The Geometry of Categorical and Hierarchical Concepts in Large Language Models [15.126806053878855]
  線形表現仮説の形式化をベクトルとして(例:is_animal)特徴を表現するために拡張する方法を示す。 形式化を用いて、概念の階層構造とそれらの表現の幾何学との関係を証明する。 我々はこれらの理論結果をGemmaとLLaMA-3大言語モデルで検証し、WordNetのデータを用いて900以上の階層的な概念の表現を推定する。
  論文  参考訳（メタデータ） (2024-06-03T16:34:01Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Analyzing Encoded Concepts in Transformer Language Models [21.76062029833023]
  ConceptXは、事前訓練された言語モデル内で学習された表現において、潜伏概念がどのように符号化されるかを分析する。 クラスタリングを使用して、符号化された概念を発見し、人間の定義した概念の大規模なセットと整合してそれらを説明する。
  論文  参考訳（メタデータ） (2022-06-27T13:32:10Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。