論文の概要: Scale, Drivers, and Limits of Representational Alignment Across Large Language Models

• arxiv url: http://arxiv.org/abs/2610.14476v1
• Date: Sat, 10 Oct 2026 02:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.055566
• Title: Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
• Title（参考訳）: 大規模言語モデルにおける表現アライメントのスケール, ドライバ, 限界
• Abstract要約: モデルが合意する場所と、その合意を支持するものを解決するための2つの補完的手法を導入する。 多様な言語モデル全体では、粗い表現幾何学には強い一致があるが、局所的にはかなり異なる。
• 参考スコア（独自算出の注目度）: 9.87834818152623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Comparing large language models can reveal shared representational structure and systematic differences between them. However, aggregate similarity measures can obscure how agreement varies across geometric scales and which linguistic properties support it. We introduce two complementary methods to resolve where models agree and what supports that agreement. Standard representational similarity analysis (RSA) summarizes similarity across all stimulus pairs, potentially obscuring differences in alignment between nearby and distant inputs. Neighborhood-Weighted RSA (NW-RSA) addresses this limitation by weighting stimulus pairs according to their proximity in representational space, placing alignment from local neighborhoods to global geometry on a common scale. Counterfactual RSA (CF-RSA) tests which linguistic properties support alignment by comparing intact representations in one model with representations under controlled linguistic perturbations in another. Across diverse language models, we find strong agreement in coarse representational geometry but substantial divergence in local neighborhoods. Alignment is observed both across broadly sampled natural text and within linguistic equivalence classes that preserve particular aspects of meaning or structure. Counterfactual analyses reveal selective sensitivity: changes to logical scope reduce alignment substantially more than the tested changes to hierarchical syntax, event roles, or discourse structure. Alignment also decreases when sentence structure or lexical meaning is disrupted in word lists and jabberwocky sentences, suggesting that the regularities of natural language support stronger convergence. These findings refine claims of representational universality by showing that strong overall similarity need not imply agreement in how models represent finer linguistic distinctions.
• Abstract（参考訳）: 大きな言語モデルを比較すると、共通の表現構造と体系的な違いが明らかになる。 しかし、集合的類似度尺度は、幾何スケールでどのように一致が変化するのか、どの言語特性がそれをサポートするのかを曖昧にすることができる。 モデルが合意する場所と、その合意を支持するものを解決するための2つの補完的手法を導入する。 標準表現類似性分析(RSA)は、すべての刺激対の類似性を要約し、近くの入力と離れた入力のアライメントの違いを隠蔽する可能性がある。 NW-RSA(Norborhood-Weighted RSA)はこの制限に対処するため、刺激対を表現空間の近接性に応じて重み付けし、局所近傍からグローバル幾何学へのアライメントを共通のスケールで配置する。 言語特性がアライメントをサポートする対実的RSAテスト(CF-RSA)は、あるモデルにおける無意味な表現と他のモデルにおける制御された言語摂動下での表現を比較して行う。 多様な言語モデル全体では、粗い表現幾何学には強い一致があるが、局所的にはかなり異なる。 アライメントは、広範にサンプリングされた自然テキストと、意味や構造の特定の側面を保存する言語同値クラスの両方で観察される。 論理的スコープの変更は、階層的な構文やイベントロール、あるいは談話構造に対するテストされた変更よりも大幅にアライメントを減少させる。 アライメントはまた、単語リストやjabberwocky文で単語構造や語彙の意味が乱されるときにも減少し、自然言語の規則性はより強い収束を支持することを示唆している。 これらの知見は、強い全体的類似性は、モデルがより微細な言語的区別をどう表現するかという点において、必ずしも一致しないことを示すことによって、表現的普遍性の主張を洗練させる。

関連論文リスト

• Does Syntax Matter? A Graph-Augmented Variational Topic Model for Computational Social Sciences [51.56484100374058]
  本稿では、構文依存関係をトピック推論に組み込んだアーキテクチャである、構造的文脈確率的トピックモデル(SCPTM)を紹介する。 本研究では,レジスタ構造と談話構造が異なる4つのコーパスのトピックモデリング手法について検討した。 その結果, SCPTMのニューラルアーキテクチャは, 生成的ベースラインよりも文書・トピックアライメントが著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2026-09-07T17:39:06Z)
• When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs [20.39151103511549]
  大規模言語モデルは強い多言語能力を示すが、その内部表現は解釈が難しい。 近年の研究では、因果幾何学構造が、どのようにある概念がほぼ線形かつ分離可能な方向としてエンコードされているかを説明することができることが示されている。 因果幾何学的解析を多言語LLMに適用し、3つのモデル間の28の両言語コントラストについて検討した。
  論文  参考訳（メタデータ） (2026-06-12T11:00:59Z)
• The Wittgensteinian Representation Hypothesis: Is Language the Attractor of Multimodal Convergence? [37.415683554349194]
  非対称アライメント尺度であるCycle-kNNを用いた方向収束解析を導入する。 非言語モダリティは、逆よりも言語近傍構造にかなり移行する。 我々はこれをウィトゲンシュタイン表現仮説(Wittgensteinian Representation hypothesis: 言語の意味構造は多モーダル表現収束の魅力である)として定式化する。
  論文  参考訳（メタデータ） (2026-05-10T06:05:04Z)
• Floating or Suggesting Ideas? A Large-Scale Contrastive Analysis of Metaphorical and Literal Verb-Object Constructions [53.690096725532726]
  本研究では,2Mコーパス文中の297の英語動詞オブジェクト対(例:float idea vs. suggest idea)を分析した。 5つのNLPツールを用いて,感情的,語彙的,統語的,言論的な特徴を捉えた認知的・言語的特徴2,293点を抽出した。 クロスペアの結果は, 語彙頻度, 凝集度, 構造規則性が高く, 比喩的文脈は感情負荷, イメージ性, 語彙多様性, 構造的特異性を示す。
  論文  参考訳（メタデータ） (2026-04-09T14:08:57Z)
• IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation [88.98544786373212]
  既存の文表現は主に、その表現方法ではなく、ある文が何を言っているかを符号化する。 本研究は,意味内容から分離したスタイルと方言をキャプチャする文表現を開発する。 IDIOLEX(IDIOLEX)は,文の証明から文の内容の言語的特徴までを統括するモデルを訓練するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-04-06T14:17:24Z)
• Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs [0.8594140167290097]
  本研究では,Large Language Models (LLMs) の内部表現が,関数注入型階調を反映しているかどうかを考察する。 Pythia-$1.4$Bの英語二重対象(DO)と前提対象(PO)の構成の表現を解析する。 幾何学的解析により,2つの構成の表現の分離性は,勾配優先強度によって体系的に変調されることが示された。
  論文  参考訳（メタデータ） (2025-07-29T23:39:21Z)
• Semantic Convergence: Investigating Shared Representations Across Scaled LLMs [4.172347145536457]
  大きな言語モデルは、サイズの違いにもかかわらず、世界全体を広く類似した解釈可能な特徴に彫り込み、クロスモデル解釈の基盤として普遍性を補強する。 予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。
  論文  参考訳（メタデータ） (2025-07-21T07:09:32Z)
• Large Language Models as Quasi-crystals: Coherence Without Repetition in Generative Text [0.0]
  エッセイは大規模言語モデル(LLM)と準結晶の類似性を提案し、局所的な制約によって生成される周期的反復を伴わないグローバルコヒーレンスを示すシステムである。 準結晶の歴史に基づいて、生成言語における代替的なコヒーレンスモード、すなわち反復や象徴的意図を伴わない制約に基づく組織を強調している。 このエッセイは、既存のメソッドを拒絶するのではなく、意味論よりも構造に根ざした解釈の新たな軸を提案することによって、大きな言語モデルに関する現在の議論を再考することを目的としている。
  論文  参考訳（メタデータ） (2025-04-16T11:27:47Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。