論文の概要: Representation of syntax in LLMs through the lens of linear distance and similarity-aware entropy

• arxiv url: http://arxiv.org/abs/2608.27813v1
• Date: Fri, 28 Aug 2026 01:17:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.174013
• Title: Representation of syntax in LLMs through the lens of linear distance and similarity-aware entropy
• Title（参考訳）: 線形距離と類似性を考慮したエントロピーレンズによるLLMの構文表現
• Abstract要約: 構造プローブは、ニューラルネットワークモデルの潜在表現から構文木を再構成するためにヒューイットとマニングによって導入された。 注釈付きコーパス上で正しく再構成された構文木縁の比率を算出して評価する。 本稿では,各構文関係の再構成精度を別々に評価するラベルによる非指向性アタッチメントスコア(UASL)を考慮して,この尺度を分解する。
• 参考スコア（独自算出の注目度）: 4.794327378667608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Structural probes were introduced by Hewitt and Manning to reconstruct syntactic trees from a neural language model's latent representations. They are evaluated by calculating the proportion of syntactic tree edges correctly reconstructed over an annotated corpus (as measured by undirected unlabeled attachment score). Here, we disaggregate this measure, considering undirected attachment score by label (UASL), which assesses the reconstruction accuracy of each syntactic relation separately, establishing important differences among relations that overlap linguistic distinctions. Moreover, we identify two factors that predict most of UASL's variability across relations: (i) the mean and dispersion of the linear distance (on a log scale) between the related words, and (ii) the diversity (similarity-aware entropy) of the syntactic relation's head. These results, which hold across a range of model sizes and architectures, shed light on the degree of abstraction of the representation of syntax in language models and the dependence of such representation on geometric properties of the embedding space.
• Abstract（参考訳）: 構造プローブは、ニューラルネットワークモデルの潜在表現から構文木を再構成するためにヒューイットとマニングによって導入された。 アノテーション付きコーパス上で正しく再構成された構文木縁の比率(未表示アタッチメントスコアで測定される)を算出して評価する。 ここでは,各構文関係の再構成精度を別々に評価するラベルによる非指向性アタッチメントスコア(UASL)を考慮して,この尺度を分解し,言語的相違を重畳する関係において重要な相違点を確立する。 さらに、UASLの変動のほとんどを予測する2つの要因を同定する。 一 関係語間の直線距離(対数スケールにおける)の平均及び分散 (i) 構文的関係の頭部の多様性(類似性-認識エントロピー)。 これらの結果は,言語モデルにおける構文の表現の抽象化の程度と,埋め込み空間の幾何学的特性へのそれらの表現の依存性に光を当てている。

関連論文リスト

• See More, Match Better: Multi-Source Feature Fusion for Two-View Correspondence Learning [52.52121389921707]
  2視点対応学習は、画像対における真対応(インレーシ)と偽対応(インレーシ)とを区別することを目的としている。 既存の手法は主に座標に基づく幾何の整合性に依存する。 本稿では,2視点対応学習のためのマルチソース機能融合フレームワークTriMatchを提案する。
  論文  参考訳（メタデータ） (2026-06-08T09:33:01Z)
• Barycentric alignment for instance-level comparison of neural representations [2.1920579994942164]
  我々は、多くのモデルにまたがる普遍的な埋め込み空間を構築するために、ニュアンス対称性を引用するバリ中心アライメントフレームワークを導入する。 視覚および言語モデルファミリ間での表現収束とばらつきを予測できる体系的な入力特性を同定する。 また、同一のバリ中心アライメントフレームワークを純粋に非モーダル視覚と言語モデルに適用し、共有空間へのポストホックアライメントが画像テキストの類似度スコアを得ることを示す。
  論文  参考訳（メタデータ） (2026-02-09T21:49:44Z)
• Sparsification and Reconstruction from the Perspective of Representation Geometry [10.834177456685538]
  スパースオートエンコーダ (SAE) は機械的解釈可能性において主要なツールである。 本研究は,表現幾何学の観点から,空間の原理を説明する。 具体的には、表現を理解し、表現の制約を取り入れることの必要性を強調している。
  論文  参考訳（メタデータ） (2025-05-28T15:54:33Z)
• Disentangling Linguistic Features with Dimension-Wise Analysis of Vector Embeddings [0.0]
  本稿では,異なる言語特性(LP)を符号化したベクトル埋め込みの特定の次元を明らかにするための枠組みを提案する。 本稿では,同義語,否定語,時制,量などの10つの重要な言語的特徴を分離するLinguistically Distinct Sentence Pairsデータセットを紹介する。 このデータセットを用いて,様々な手法を用いてBERT埋め込みを分析し,各LPの最も影響力のある次元を同定する。 我々の研究結果は、否定や極性といった特定の性質が特定の次元で強固に符号化されている一方で、同義語のような他の性質はより複雑なパターンを示すことを示している。
  論文  参考訳（メタデータ） (2025-04-20T23:38:16Z)
• Structure-Aware Correspondence Learning for Relative Pose Estimation [65.44234975976451]
  相対的なポーズ推定は、オブジェクトに依存しないポーズ推定を達成するための有望な方法を提供する。 既存の3D対応方式は、可視領域における小さな重複と、可視領域に対する信頼できない特徴推定に悩まされている。 本稿では,2つの鍵モジュールからなる相対詩推定のための構造認識対応学習手法を提案する。
  論文  参考訳（メタデータ） (2025-03-24T13:43:44Z)
• Supervised Pattern Recognition Involving Skewed Feature Densities [49.48516314472825]
  一致する類似度指数に基づくユークリッド距離の分類ポテンシャルと相似性指数を比較する。 隣接する2つの群の密度間の交点を分類する精度を考慮する。
  論文  参考訳（メタデータ） (2024-09-02T12:45:18Z)
• Quantifying Behavioural Distance Between Mathematical Expressions [0.0]
  そこで本稿では,類似した誤りを伴って表現をクラスタリングする行動距離(BED)の尺度を提案し,実装する。 また,BEDは,記号回帰のための探索空間における誤り景観の滑らかさを著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-08-21T10:48:04Z)
• The Shape of Word Embeddings: Quantifying Non-Isometry With Topological Data Analysis [10.242373477945376]
  我々は、トポロジカルデータ解析から永続的ホモロジーを用いて、ラベルなし埋め込みの形状から言語ペア間の距離を測定する。 これらの違いが無作為な訓練誤りなのか、それとも言語に関する実情報なのかを識別するために、計算された距離行列を用いて81のインド・ヨーロッパ語に言語系統木を構築する。
  論文  参考訳（メタデータ） (2024-03-30T23:51:25Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Syntactic Substitutability as Unsupervised Dependency Syntax [31.488677474152794]
  依存関係関係や構文置換可能性の定義において、より一般的な性質を暗黙的にモデル化する。 この性質は、依存関係の両端にある単語が、同じカテゴリの単語で置き換えられるという事実を捉えている。 使用する代替品の数を増やすことで、自然データに対する解析精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-11-29T09:01:37Z)
• Image Synthesis via Semantic Composition [74.68191130898805]
  本稿では,その意味的レイアウトに基づいて現実的なイメージを合成する新しい手法を提案する。 類似した外観を持つ物体に対して、類似した表現を共有するという仮説が立てられている。 本手法は, 空間的変化と関連表現の両方を生じる, 外観相関による領域間の依存関係を確立する。
  論文  参考訳（メタデータ） (2021-09-15T02:26:07Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。