論文の概要: Vector Ontologies as an LLM world view extraction method

• arxiv url: http://arxiv.org/abs/2506.13252v1
• Date: Mon, 16 Jun 2025 08:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.889921
• Title: Vector Ontologies as an LLM world view extraction method
• Title（参考訳）: LLMワールドビュー抽出法としてのベクトルオントロジー
• Authors: Kaspar Rothenfusser, Bekk Blando,
• Abstract要約: 大きな言語モデル(LLM)は、世界の複雑な内部表現を持っているが、これらの構造は、元の予測タスクを超えて解釈または再利用することが難しいことで知られている。 ベクトルオントロジー(英: vector ontology)は、ある領域内の概念と関係の幾何学的解析を可能にする、存在論的に有意な次元にまたがる領域固有のベクトル空間を定義する。 GPT-4o-miniを用いて、複数の自然言語プロンプトを通してジャンル表現を抽出し、これらの投影の一貫性を言語的変動と、その接地構造データとの整合性から解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) possess intricate internal representations of the world, yet these latent structures are notoriously difficult to interpret or repurpose beyond the original prediction task. Building on our earlier work (Rothenfusser, 2025), which introduced the concept of vector ontologies as a framework for translating high-dimensional neural representations into interpretable geometric structures, this paper provides the first empirical validation of that approach. A vector ontology defines a domain-specific vector space spanned by ontologically meaningful dimensions, allowing geometric analysis of concepts and relationships within a domain. We construct an 8-dimensional vector ontology of musical genres based on Spotify audio features and test whether an LLM's internal world model of music can be consistently and accurately projected into this space. Using GPT-4o-mini, we extract genre representations through multiple natural language prompts and analyze the consistency of these projections across linguistic variations and their alignment with ground-truth data. Our results show (1) high spatial consistency of genre projections across 47 query formulations, (2) strong alignment between LLM-inferred genre locations and real-world audio feature distributions, and (3) evidence of a direct relationship between prompt phrasing and spatial shifts in the LLM's inferred vector ontology. These findings demonstrate that LLMs internalize structured, repurposable knowledge and that vector ontologies offer a promising method for extracting and analyzing this knowledge in a transparent and verifiable way.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、世界の複雑な内部表現を持っているが、これらの潜伏構造は、本来の予測タスクを超えて解釈や再利用が困難であることが知られている。 ベクトルオントロジーの概念を高次元のニューラル表現を解釈可能な幾何学構造に変換するための枠組みとして導入した初期の研究(Rothenfusser, 2025)に基づいて、本論文は、そのアプローチを初めて実証的に検証する。 ベクトルオントロジー(英: vector ontology)は、ある領域内の概念と関係の幾何学的解析を可能にする、存在論的に有意な次元にまたがる領域固有のベクトル空間を定義する。 音楽ジャンルの8次元ベクトルオントロジーをSpotifyのオーディオ機能に基づいて構築し,LLMの内部世界モデルが連続的かつ正確にこの空間に投影できるかどうかを検証した。 GPT-4o-miniを用いて、複数の自然言語プロンプトを通してジャンル表現を抽出し、これらの投影の一貫性を言語的変動と、その接地構造データとの整合性から解析する。 以上の結果から,(1)47のクエリの定式化におけるジャンル投影の空間的整合性,(2)LLMが推定したジャンル位置と実世界の音声特徴分布との強い整合性,(3)LLMの推定ベクトルオントロジーにおける即時表現と空間的変化の直接的関係の証拠が示唆された。 これらの結果から, LLMは構造的, 再使用可能な知識を内部化し, ベクトルオントロジーは, この知識を透明かつ検証可能な方法で抽出・解析するための有望な方法であることがわかった。

関連論文リスト

• Geospatial Mechanistic Interpretability of Large Language Models [6.0272491755196045]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる前例のない機能を示している。 我々の目的は、これらの複雑なモデルが地理的情報を処理しながら生成する内部表現の理解を深めることである。
  論文  参考訳（メタデータ） (2025-05-06T09:40:06Z)
• Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism [0.0]
  大規模言語モデル(LLM)は、高次元ベクトル埋め込みにおける意味関係を符号化する。 本稿では,LLM埋め込み空間と量子力学の類似性について検討する。 この量子派生表現を形式化する「意味的波動関数」を導入する。
  論文  参考訳（メタデータ） (2025-03-09T08:23:31Z)
• Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT [0.0]
  本研究では,大言語モデル(LLM)における動詞-助詞の組み合わせの内部表現について検討する。 我々は'agree on'、'come back'、'give up'といった様々な動詞粒子構築のための各層の表現効果を分析する。 その結果,BERTの中間層は,各動詞カテゴリの表現精度に有意なばらつきがあり,構文構造を効果的に捉えていることがわかった。
  論文  参考訳（メタデータ） (2024-12-19T09:21:39Z)
• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• BURT: BERT-inspired Universal Representation from Learning Meaningful Segment [46.51685959045527]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 我々は、異なるレベルの言語単位を同じベクトル空間に符号化する普遍表現モデルburtを提案する。 具体的には,ポイントワイズ相互情報(pmi)に基づいて有意義なセグメントを抽出・マスキングし,異なる粒度目標を事前学習段階に組み込む。
  論文  参考訳（メタデータ） (2020-12-28T16:02:28Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。