論文の概要: Emergence and Localisation of Semantic Role Circuits in LLMs

• arxiv url: http://arxiv.org/abs/2511.20910v1
• Date: Tue, 25 Nov 2025 22:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.889471
• Title: Emergence and Localisation of Semantic Role Circuits in LLMs
• Title（参考訳）: LLMにおけるセマンティックロール回路の創発と局在
• Authors: Nura Aljaafari, Danilo S. Carvalho, André Freitas,
• Abstract要約: 抽象的意味構造を基盤とする大言語モデルの内部メカニズムは、まだ十分に特徴づけられていない。 そこで本研究では,LLMのセマンティック・ロールの実装方法を検討するために,ロール・クロス・ミニマル・ペア,時間的出現分析,モデル間比較を統合する手法を提案する。
• 参考スコア（独自算出の注目度）: 25.611178761698593
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite displaying semantic competence, large language models' internal mechanisms that ground abstract semantic structure remain insufficiently characterised. We propose a method integrating role-cross minimal pairs, temporal emergence analysis, and cross-model comparison to study how LLMs implement semantic roles. Our analysis uncovers: (i) highly concentrated circuits (89-94% attribution within 28 nodes); (ii) gradual structural refinement rather than phase transitions, with larger models sometimes bypassing localised circuits; and (iii) moderate cross-scale conservation (24-59% component overlap) alongside high spectral similarity. These findings suggest that LLMs form compact, causally isolated mechanisms for abstract semantic structure, and these mechanisms exhibit partial transfer across scales and architectures.
• Abstract（参考訳）: セマンティック・コンピテンスを示すにもかかわらず、抽象的なセマンティック構造を基盤とする大きな言語モデルの内部メカニズムは、まだ不十分に特徴付けられている。 そこで本研究では,LLMのセマンティック・ロールの実装方法を検討するために,ロール・クロス・ミニマル・ペア,時間的出現分析,モデル間比較を統合する手法を提案する。 私たちの分析で明らかになりました。 (i)高濃度回路(89～94%は28ノード以内) (II)局部化回路をバイパスする大きなモデルを持つ相転移ではなく、段階的構造改善 三 スペクトル類似度の高い中等度断続保存(24〜59%の成分重なり)。 これらのことから, LLMは抽象的意味構造に対してコンパクトかつ因果的に分離された機構を形成し, これらの機構はスケールやアーキテクチャにわたって部分的移動を示すことが示唆された。

関連論文リスト

• From Atoms to Trees: Building a Structured Feature Forest with Hierarchical Sparse Autoencoders [12.294297654425334]
  階層的スパースオートエンコーダ(HSAE)は、一連のSAEとそれらの特徴間の親子関係を学習する。 我々の研究は、言語表現に埋め込まれたマルチスケールの概念構造を発見し解析するための、強力でスケーラブルなツールを提供する。
  論文  参考訳（メタデータ） (2026-02-12T12:30:23Z)
• Toward Formalizing LLM-Based Agent Designs through Structural Context Modeling and Semantic Dynamics Analysis [13.919694566467053]
  この断片化は、LLMエージェントの特性と比較を可能にする分析可能な自己整合形式モデルが存在しないことに起因すると我々は主張する。 このギャップに対処するために、文脈構造の観点からLLMエージェントを解析・比較するための形式モデルであるtexttt Structure Context Model を提案する。 モンキー・バナナ問題の動的変種に対する完全な枠組みの有効性を実証し,本手法を用いて開発したエージェントが成功率を最大32ポイント向上することを示した。
  論文  参考訳（メタデータ） (2026-02-09T05:15:11Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning [76.05038073223152]
  有効かつ学習可能なLong CoTトラジェクトリは、統一された視点で安定な分子様構造を特徴とすることを示す。 有効セマンティック異性体を導入し, 高速エントロピー収束を促進する結合のみが安定なLong CoT学習を支援することを示す。 本稿では,効率の良いLong CoT構造の合成を導出する分布移動グラフ法であるMole-Synを提案する。
  論文  参考訳（メタデータ） (2026-01-09T18:39:01Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• The Shape of Adversarial Influence: Characterizing LLM Latent Spaces with Persistent Homology [4.280045926995889]
  本研究では,大規模言語モデルの内部表現空間に対して,逆入力が体系的にどう影響するかに着目した。 アクティベーションの形状と神経情報の流れを定量化することにより、アーキテクチャに依存しない枠組みは、表現的変化の基本的な不変性を明らかにする。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• TRACE for Tracking the Emergence of Semantic Representations in Transformers [10.777646083061395]
  本稿では,トランスフォーマーに基づくLMにおける位相遷移を検出するために,幾何学的,情報的,言語的信号を組み合わせた診断フレームワークTRACEを紹介する。 実験により、位相遷移は曲率崩壊と寸法安定化の明確な交点と一致し、これらの幾何学的シフトは、新たな構文的および意味論的精度と一致することが明らかになった。 この研究は、モデル解釈可能性、訓練効率、構成一般化に関する洞察を提供することで、言語的抽象がLMにどのように現れるかの理解を深める。
  論文  参考訳（メタデータ） (2025-05-23T15:03:51Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)
• Learning Multiscale Consistency for Self-supervised Electron Microscopy Instance Segmentation [48.267001230607306]
  本稿では,EMボリュームのマルチスケール一貫性を高める事前学習フレームワークを提案する。 当社のアプローチでは,強力なデータ拡張と弱いデータ拡張を統合することで,Siameseネットワークアーキテクチャを活用している。 効果的にボクセルと機能の一貫性をキャプチャし、EM分析のための転送可能な表現を学習する。
  論文  参考訳（メタデータ） (2023-08-19T05:49:13Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。