論文の概要: Polar probe linearly decodes semantic structures from LLMs

• arxiv url: http://arxiv.org/abs/2605.14125v2
• Date: Sat, 16 May 2026 12:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:45.907828
• Title: Polar probe linearly decodes semantic structures from LLMs
• Title（参考訳）: 極性プローブはLLMから意味構造を線形に復号する
• Abstract要約: 本稿では, 要素間の関係が, 埋め込み間の距離と方向によって表されるような, 単純なニューラルネットワークを提案する。 我々はこの仮説を多種多様な大言語モデル(LLM)で検証する。 その結果,LLMs層活性化の部分空間をターゲットとしたPolar Probeを用いて,真の意味構造を線形に復元できることが示唆された。
• 参考スコア（独自算出の注目度）: 8.391571644913968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do artificial neural networks bind concepts to form complex semantic structures? Here, we propose a simple neural code, whereby the existence and the type of relations between entities are represented by the distance and the direction between their embeddings, respectively. We test this hypothesis in a variety of Large Language Models (LLMs), each input with natural-language descriptions of minimalist tasks from five different domains: arithmetic, visual scenes, family trees, metro maps and social interactions. Results show that the true semantic structures can be linearly recovered with a Polar Probe targeting a subspace of LLMs' layer activations. Second, this code emerges mostly in middle layers and improves with LLM performance. Third, these Polar Probes successfully generalize to new entities and relation types, but degrades with the size of the semantic structure. Finally, the quality of the polar representation correlates with the LLM's ability to answer questions about the semantic structure. Together, these findings suggest that LLMs learn to build complex semantic structures by binding representations with a simple geometrical principle.
• Abstract（参考訳）: 人工知能はどのようにして概念を結合して複雑な意味構造を形成するのか? 本稿では, 要素間の関係をそれぞれ, 埋め込み間の距離と方向で表現する, 単純なニューラルネットワークを提案する。 我々は,この仮説を,算術,視覚シーン,ファミリーツリー,メトロマップ,社会的相互作用の5つの領域から,最小主義的タスクを自然言語で記述した多種多様な言語モデル(LLM)で検証する。 その結果,LLMs層活性化の部分空間をターゲットとしたPolar Probeを用いて,真の意味構造を線形に復元できることが示唆された。 第2に、このコードが主に中間層に現れ、LLMのパフォーマンスが向上する。 第三に、これらの極性プローブは、新しい実体や関係型に一般化することに成功したが、意味構造のサイズで分解される。 最後に、極性表現の質は、意味構造に関する質問に答えるLLMの能力と相関する。 これらの結果は、LLMが単純な幾何学的原理で表現を結合することで複雑な意味構造を構築することを学ぶことを示唆している。

関連論文リスト

• Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
  LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。 空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。 多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
  論文  参考訳（メタデータ） (2026-06-15T16:14:53Z)
• Diagnosing CFG Interpretation in LLMs [17.612748633265202]
  新しい文脈自由文法が与えられたら、LLMは構文的に妥当で、行動的に機能し、意味的に忠実な出力を生成することができるのか? このフレームワークは、再帰深さ、表現の複雑さ、表面スタイルの制御されたストレステストを通じて、構文、振る舞い、セマンティクスを歪曲する。
  論文  参考訳（メタデータ） (2026-04-22T17:43:05Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory [4.680675835708409]
  本稿では,LLMと問合せの両方を共有空間に埋め込む幾何学的項目応答フレームワークであるJE-IRTを提案する。 質問埋め込みでは、方向は意味論を符号化し、基準は難易度を符号化するが、各質問の正しさはモデルと質問埋め込みの間の幾何学的相互作用によって決定される。
  論文  参考訳（メタデータ） (2025-09-26T20:11:47Z)
• Topos Theory for Generative AI and LLMs [3.0316063849624477]
  トポス理論を用いた新しい分類型生成型AIアーキテクチャ(GAIA)の設計を提案する。 大規模言語モデル (LLM) のカテゴリは,集合のようなカテゴリーであるトポを形成することを示す。 LLMトポスアーキテクチャの実装の可能性を定義するために,バックプロパゲーションのファンクリアルな特徴付けを用いる。
  論文  参考訳（メタデータ） (2025-08-05T20:00:06Z)
• Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs [0.8594140167290097]
  本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 Pythia-$1.4$Bの英語二重対象(DO)と前提対象(PO)の構成の表現を解析する。 幾何学的解析により,2つの構成の表現の分離性は,勾配優先強度によって体系的に変調されることが示された。
  論文  参考訳（メタデータ） (2025-07-29T23:39:21Z)
• SAFT: Structure-Aware Fine-Tuning of LLMs for AMR-to-Text Generation [50.277959544420455]
  SAFTは、事前訓練された言語モデルにグラフトポロジーを注入する構造対応の微調整手法である。 変換されたAMRの磁気ラプラシアンから方向感応的な位置エンコーディングを計算する。 SAFTはAMR 3.0に新しい最先端を設定、ベースラインを3.5BLEU改善した。
  論文  参考訳（メタデータ） (2025-07-15T18:12:57Z)
• Vector Ontologies as an LLM world view extraction method [0.0]
  大きな言語モデル(LLM)は、世界の複雑な内部表現を持っているが、これらの構造は、元の予測タスクを超えて解釈または再利用することが難しいことで知られている。 ベクトルオントロジー(英: vector ontology)は、ある領域内の概念と関係の幾何学的解析を可能にする、存在論的に有意な次元にまたがる領域固有のベクトル空間を定義する。 GPT-4o-miniを用いて、複数の自然言語プロンプトを通してジャンル表現を抽出し、これらの投影の一貫性を言語的変動と、その接地構造データとの整合性から解析する。
  論文  参考訳（メタデータ） (2025-06-16T08:49:21Z)
• A polar coordinate system represents syntax in large language models [12.244752597245645]
  構文木は、大きな言語モデルの活性化において効果的に表されることもある。 単語埋め込み間の距離と方向の両方から統語的関係を読み取るために訓練された「Polar Probe」を導入する。 まず、私たちの極性プローブは、構文関係のタイプと方向を回復し、構造プローブをほぼ2倍に大きく上回っています。
  論文  参考訳（メタデータ） (2024-12-07T07:37:20Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。