論文の概要: Do LLMs differentiate linguistic traits internally?: A layer-wise analysis

• arxiv url: http://arxiv.org/abs/2610.15203v1
• Date: Sat, 10 Oct 2026 22:28:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:05:25.542235
• Title: Do LLMs differentiate linguistic traits internally?: A layer-wise analysis
• Title（参考訳）: LLMは言語特性を内部的に区別するか?:階層解析
• Abstract要約: Llama-3.2-1B と Gemma-3-1B-PT の2つの等サイズの事前訓練モデルに対して,層単位での表現解析を行った。 その結果,同じ能力のモデルでも,言語情報を根本的に異なる方法で整理できることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models often produce judgments that resemble human responses, but it remains unclear whether they internally capture linguistic nuances such as conventional versus idiomatic meaning. A layer-wise representational analysis was conducted on two equal-sized pre-trained models, Llama-3.2-1B and Gemma-3-1B-PT, to examine whether and where these models differentiate linguistic traits from input. The analysis combined layer-wise probing with geometric distance measures, using the top embedding dimensions ranked by principal component loadings for each layer. The results show that even with equal capacity, models organize linguistic information in fundamentally different ways, suggesting the need to analyze internal representational geometry, examining not just behavioral outputs but semantic space alignment when evaluating how closely human and model language interpretation correspond.
• Abstract（参考訳）: 大規模な言語モデルはしばしば人間の反応に類似した判断を下すが、従来の意味と慣用的な意味のような言語的ニュアンスを内部的に捉えているかどうかは不明である。 Llama-3.2-1B と Gemma-3-1B-PT の2種類の事前学習モデルにおいて,これらのモデルが言語特性と入力を区別するか否かを,階層的表現解析により検討した。 解析は,各層について主成分負荷によってランク付けされた最上層埋め込み次元を用いて,幾何学的距離測定と階層ワイズ探索を併用した。 その結果、モデルが同等の能力を持つ場合でも、言語情報を根本的に異なる方法で整理し、人間の言語解釈とモデル言語解釈がどの程度近いかを評価する際に、内部表現幾何学を解析し、行動出力だけでなく意味空間のアライメントを調べる必要性が示唆された。

関連論文リスト

• A Markov Categorical Framework for Language Modeling [9.910562011343009]
  自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。 本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。 この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-07-25T13:14:03Z)
• Semantic Convergence: Investigating Shared Representations Across Scaled LLMs [4.172347145536457]
  大きな言語モデルは、サイズの違いにもかかわらず、世界全体を広く類似した解釈可能な特徴に彫り込み、クロスモデル解釈の基盤として普遍性を補強する。 予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。
  論文  参考訳（メタデータ） (2025-07-21T07:09:32Z)
• Under the Shadow of Babel: How Language Shapes Reasoning in LLMs [27.48119976373105]
  大規模言語モデルは,様々な言語に埋め込まれた習慣的論理構造を内部化することを示す。 1)LLMは,中国語の語源や文の初期接続性に注目しつつ,英語のバランスの取れた分布を示す。
  論文  参考訳（メタデータ） (2025-06-19T09:06:38Z)
• Cat, Rat, Meow: On the Alignment of Language Model and Human Term-Similarity Judgments [4.856605865350511]
  人間の類似性判断と表現的・行動的整合性を考慮した32の公開言語モデルの評価を行った。 小さな言語モデルの表現でさえ、人間レベルのアライメントを実現することができる。
  論文  参考訳（メタデータ） (2025-04-10T17:59:57Z)
• Large Language Models as Neurolinguistic Subjects: Discrepancy between Performance and Competence [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。 その結果,(1)心理言語学的・神経言語学的手法では,言語能力と能力が異なっていること,(2)直接確率測定では言語能力が正確に評価されないこと,(3)指導のチューニングでは能力が大きく変化しないが,性能は向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Similarity Analysis of Contextual Word Representation Models [39.12749165544309]
  我々は、深層モデルにおける情報の局所化のレベルを測定するために、既存の新しい類似度尺度を用いている。 この分析により、同じ家族内のモデルが、予想されるように互いに類似していることが明らかになった。 驚くべきことに、異なるアーキテクチャは比較的類似した表現を持っているが、個々のニューロンが異なる。
  論文  参考訳（メタデータ） (2020-05-03T19:48:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。