論文の概要: Where meaning lives: Layer-wise accessibility of psycholinguistic features in encoder and decoder language models

• arxiv url: http://arxiv.org/abs/2601.03798v1
• Date: Wed, 07 Jan 2026 10:55:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-08 18:12:46.184882
• Title: Where meaning lives: Layer-wise accessibility of psycholinguistic features in encoder and decoder language models
• Title（参考訳）: Where meaning: Layer-wise accessibility of Psycholinguistic features in encoder and decoder language model
• Authors: Taisiia Tikhomirova, Dirk U. Wulff,
• Abstract要約: 明らかな意味の局所化は、強いメソッド依存であることがわかった。 これらの違いにもかかわらず、モデルは意味次元の共有深度順序を示す。 これらの結果から,トランスフォーマーモデルにおける「生き」の意味は,方法論的選択とアーキテクチャ的制約との相互作用を反映していることがわかった。
• 参考スコア（独自算出の注目度）: 1.4323566945483497
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Understanding where transformer language models encode psychologically meaningful aspects of meaning is essential for both theory and practice. We conduct a systematic layer-wise probing study of 58 psycholinguistic features across 10 transformer models, spanning encoder-only and decoder-only architectures, and compare three embedding extraction methods. We find that apparent localization of meaning is strongly method-dependent: contextualized embeddings yield higher feature-specific selectivity and different layer-wise profiles than isolated embeddings. Across models and methods, final-layer representations are rarely optimal for recovering psycholinguistic information with linear probes. Despite these differences, models exhibit a shared depth ordering of meaning dimensions, with lexical properties peaking earlier and experiential and affective dimensions peaking later. Together, these results show that where meaning "lives" in transformer models reflects an interaction between methodological choices and architectural constraints.
• Abstract（参考訳）: トランスフォーマー言語モデルが意味の心理的に意味のある側面をコードする場所を理解することは、理論と実践の両方に不可欠である。 エンコーダのみのアーキテクチャとデコーダのみのアーキテクチャにまたがる10のトランスフォーマーモデルにまたがる58の心理言語学的特徴を階層的に探索し、3つの埋め込み抽出手法を比較した。 文脈的埋め込みは、分離された埋め込みよりも、特徴特異的な選択性と異なるレイヤーワイドプロファイルをもたらす。 モデルや手法全体では、最終層表現は線形プローブを用いて心理言語情報を回復するのに最適ではない。 これらの違いにもかかわらず、モデルは意味次元の共有深度順序を示し、語彙的特性は早期にピーク、経験的および感情的次元は後にピークとなる。 これらの結果から,トランスフォーマーモデルにおける「生き」の意味は,方法論的選択とアーキテクチャ的制約との相互作用を反映していることが示された。

関連論文リスト

• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジカルな特徴である$p$次元の穴が層全体に持続し、進化していくかを測定するトポロジカル記述子を導入する。 このことは、プロンプトがどのように再配置され、それらの相対的な位置が表現空間で変化するかという統計的視点を与える。 ショーケースアプリケーションとして、レイヤプルーニングの基準を確立するためにzigzag Persistenceを使用し、最先端の手法に匹敵する結果を得る。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• Counting in Small Transformers: The Delicate Interplay between Attention and Feed-Forward Layers [16.26331213222281]
  我々は、ヒストグラムタスクに取り組む際に実装される単純なトランスフォーマーブロックの解を分析する。 このタスクは、予測性能、語彙と埋め込みサイズ、トークン混合機構、フィードフォワード層容量の間の複雑な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2024-07-16T09:48:10Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Investigating semantic subspaces of Transformer sentence embeddings through linear structural probing [2.5002227227256864]
  本研究では,文レベル表現の研究手法である意味構造探索を用いた実験を行う。 本手法は,2つのタスクの文脈において,異なる言語モデル(エンコーダのみ,デコーダのみ,エンコーダのみ,エンコーダ-デコーダ)と異なる大きさの言語モデルに適用する。 モデルファミリは、その性能と層動力学において大きく異なるが、結果は大半がモデルサイズの不変量である。
  論文  参考訳（メタデータ） (2023-10-18T12:32:07Z)
• ContraFeat: Contrasting Deep Features for Semantic Discovery [102.4163768995288]
  StyleGANは、アンタングル化セマンティックコントロールの強い可能性を示している。 StyleGANの既存の意味発見手法は、修正された潜在層を手作業で選択することで、良好な操作結果が得られる。 本稿では,このプロセスを自動化し,最先端のセマンティック発見性能を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2022-12-14T15:22:13Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Differentiable Generalised Predictive Coding [2.868176771215219]
  本稿では,脳の機能を内部生成モデルの階層的洗練とみなすニューラルプロセス理論と相反する,微分可能な力学モデルについて述べる。 我々の研究は、勾配に基づく予測符号化の既存の実装を拡張し、非線形状態パラメータ化のためのディープニューラルネットワークを統合することができる。
  論文  参考訳（メタデータ） (2021-12-02T22:02:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。