論文の概要: The Origins of Representation Manifolds in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.18235v1
• Date: Fri, 23 May 2025 13:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.250369
• Title: The Origins of Representation Manifolds in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける表現多様体の起源
• Authors: Alexander Modell, Patrick Rubin-Delanchy, Nick Whiteley,
• Abstract要約: 表現空間におけるコサイン類似性は、最短のオンマンフォールド経路を通して特徴の内在幾何学を符号化することができることを示す。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。
• 参考スコア（独自算出の注目度）: 52.68554895844062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a large ongoing scientific effort in mechanistic interpretability to map embeddings and internal representations of AI systems into human-understandable concepts. A key element of this effort is the linear representation hypothesis, which posits that neural representations are sparse linear combinations of `almost-orthogonal' direction vectors, reflecting the presence or absence of different features. This model underpins the use of sparse autoencoders to recover features from representations. Moving towards a fuller model of features, in which neural representations could encode not just the presence but also a potentially continuous and multidimensional value for a feature, has been a subject of intense recent discourse. We describe why and how a feature might be represented as a manifold, demonstrating in particular that cosine similarity in representation space may encode the intrinsic geometry of a feature through shortest, on-manifold paths, potentially answering the question of how distance in representation space and relatedness in concept space could be connected. The critical assumptions and predictions of the theory are validated on text embeddings and token activations of large language models.
• Abstract（参考訳）: 機械的解釈可能性において、AIシステムの埋め込みと内部表現を人間の理解可能な概念にマッピングするための、膨大な科学的努力が進行中である。 この取り組みの鍵となる要素は線形表現仮説(英語版)であり、これはニューラル表現が「ほぼ直交」方向ベクトルの疎線型結合であり、異なる特徴の存在や欠如を反映していると仮定している。 このモデルはスパースオートエンコーダを使用して表現から特徴を復元する。 ニューラル表現が、ある特徴の存在だけでなく、潜在的に連続的で多次元的な値をエンコードできるような、機能のより完全なモデルへの移行は、近年の激しい議論の対象となっている。 特に、表現空間におけるコサイン類似性は、最も短く、多様体上の経路を通して特徴の内在的幾何学を符号化し、表現空間における距離と概念空間における関連性がどのように連結されるかという疑問に答える可能性がある。 理論の臨界仮定と予測は、大きな言語モデルのテキスト埋め込みとトークンアクティベーションに基づいて検証される。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Bridging Neural and Symbolic Representations with Transitional Dictionary Learning [4.326886488307076]
  本稿では,記号的知識を暗黙的に学習できる新しいトランジショナル辞書学習(TDL)フレームワークを提案する。 本稿では,期待最大化法(EM)アルゴリズムで学習した辞書を用いて,入力を視覚部分へ分解するゲーム理論拡散モデルを提案する。 3つの抽象的な合成視覚オブジェクトデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Word2Box: Learning Word Representation Using Box Embeddings [28.080105878687185]
  単語のベクトル表現を学習することは、NLPにおける最も基本的なトピックの1つである。 我々のモデルであるWord2Boxは、単語表現の問題に対する領域ベースアプローチを採用し、単語を$n$次元長方形として表現する。 様々な単語類似性タスク、特にあまり一般的でない単語の性能向上を実証した。
  論文  参考訳（メタデータ） (2021-06-28T01:17:11Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• High-dimensional distributed semantic spaces for utterances [0.2907403645801429]
  本稿では,発話とテキストレベルデータの高次元表現モデルについて述べる。 言語情報を表現する数学的原理と行動学的に妥当なアプローチに基づいている。 本論文は,固定次元の共通積分フレームワークにおいて,実装モデルが言語的特徴を広範囲に表すことができるかを示す。
  論文  参考訳（メタデータ） (2021-04-01T12:09:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。