論文の概要: Polar probe linearly decodes semantic structures from LLMs

• arxiv url: http://arxiv.org/abs/2605.14125v2
• Date: Sat, 16 May 2026 12:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:45.907828
• Title: Polar probe linearly decodes semantic structures from LLMs
• Title（参考訳）: 極性プローブはLLMから意味構造を線形に復号する
• Authors: Pablo J. Diego-Simón, Pierre Orhan, Emmanuel Chemla, Yair Lakretz, Jean-Rémi King,
• Abstract要約: 本稿では, 要素間の関係が, 埋め込み間の距離と方向によって表されるような, 単純なニューラルネットワークを提案する。 我々はこの仮説を多種多様な大言語モデル(LLM)で検証する。 その結果,LLMs層活性化の部分空間をターゲットとしたPolar Probeを用いて,真の意味構造を線形に復元できることが示唆された。
• 参考スコア（独自算出の注目度）: 8.391571644913968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do artificial neural networks bind concepts to form complex semantic structures? Here, we propose a simple neural code, whereby the existence and the type of relations between entities are represented by the distance and the direction between their embeddings, respectively. We test this hypothesis in a variety of Large Language Models (LLMs), each input with natural-language descriptions of minimalist tasks from five different domains: arithmetic, visual scenes, family trees, metro maps and social interactions. Results show that the true semantic structures can be linearly recovered with a Polar Probe targeting a subspace of LLMs' layer activations. Second, this code emerges mostly in middle layers and improves with LLM performance. Third, these Polar Probes successfully generalize to new entities and relation types, but degrades with the size of the semantic structure. Finally, the quality of the polar representation correlates with the LLM's ability to answer questions about the semantic structure. Together, these findings suggest that LLMs learn to build complex semantic structures by binding representations with a simple geometrical principle.
• Abstract（参考訳）: 人工知能はどのようにして概念を結合して複雑な意味構造を形成するのか? 本稿では, 要素間の関係をそれぞれ, 埋め込み間の距離と方向で表現する, 単純なニューラルネットワークを提案する。 我々は,この仮説を,算術,視覚シーン,ファミリーツリー,メトロマップ,社会的相互作用の5つの領域から,最小主義的タスクを自然言語で記述した多種多様な言語モデル(LLM)で検証する。 その結果,LLMs層活性化の部分空間をターゲットとしたPolar Probeを用いて,真の意味構造を線形に復元できることが示唆された。 第2に、このコードが主に中間層に現れ、LLMのパフォーマンスが向上する。 第三に、これらの極性プローブは、新しい実体や関係型に一般化することに成功したが、意味構造のサイズで分解される。 最後に、極性表現の質は、意味構造に関する質問に答えるLLMの能力と相関する。 これらの結果は、LLMが単純な幾何学的原理で表現を結合することで複雑な意味構造を構築することを学ぶことを示唆している。

関連論文リスト

• Diagnosing CFG Interpretation in LLMs [17.612748633265202]
  新しい文脈自由文法が与えられたら、LLMは構文的に妥当で、行動的に機能し、意味的に忠実な出力を生成することができるのか? このフレームワークは、再帰深さ、表現の複雑さ、表面スタイルの制御されたストレステストを通じて、構文、振る舞い、セマンティクスを歪曲する。
  論文  参考訳（メタデータ） (2026-04-22T17:43:05Z)
• Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
  大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。 グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。 グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
  論文  参考訳（メタデータ） (2026-01-13T03:35:18Z)
• JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory [4.680675835708409]
  本稿では,LLMと問合せの両方を共有空間に埋め込む幾何学的項目応答フレームワークであるJE-IRTを提案する。 質問埋め込みでは、方向は意味論を符号化し、基準は難易度を符号化するが、各質問の正しさはモデルと質問埋め込みの間の幾何学的相互作用によって決定される。
  論文  参考訳（メタデータ） (2025-09-26T20:11:47Z)
• Topos Theory for Generative AI and LLMs [3.0316063849624477]
  トポス理論を用いた新しい分類型生成型AIアーキテクチャ(GAIA)の設計を提案する。 大規模言語モデル (LLM) のカテゴリは,集合のようなカテゴリーであるトポを形成することを示す。 LLMトポスアーキテクチャの実装の可能性を定義するために,バックプロパゲーションのファンクリアルな特徴付けを用いる。
  論文  参考訳（メタデータ） (2025-08-05T20:00:06Z)
• Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs [0.8594140167290097]
  本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 Pythia-$1.4$Bの英語二重対象(DO)と前提対象(PO)の構成の表現を解析する。 幾何学的解析により,2つの構成の表現の分離性は,勾配優先強度によって体系的に変調されることが示された。
  論文  参考訳（メタデータ） (2025-07-29T23:39:21Z)
• A polar coordinate system represents syntax in large language models [12.244752597245645]
  構文木は、大きな言語モデルの活性化において効果的に表されることもある。 単語埋め込み間の距離と方向の両方から統語的関係を読み取るために訓練された「Polar Probe」を導入する。 まず、私たちの極性プローブは、構文関係のタイプと方向を回復し、構造プローブをほぼ2倍に大きく上回っています。
  論文  参考訳（メタデータ） (2024-12-07T07:37:20Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。