論文の概要: The Mechanistic Emergence of Symbol Grounding in Language Models

• arxiv url: http://arxiv.org/abs/2510.13796v1
• Date: Wed, 15 Oct 2025 17:56:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.800816
• Title: The Mechanistic Emergence of Symbol Grounding in Language Models
• Title（参考訳）: 言語モデルにおける記号接地機構の創発
• Authors: Shuyu Wu, Ziqiao Ma, Xiaoxi Luo, Yidong Huang, Josue Torres-Fonseca, Freda Shi, Joyce Chai,
• Abstract要約: シンボルグラウンド(Smbol grounding)は、シンボルが現実世界の感覚運動者体験に接続することで、その意味を得る方法を記述する。 最近の研究は、明確な接地目的を使わずに、大規模に訓練された(視覚言語)モデルに接地が現れるという予備的な証拠を示している。 この結果から,記号接地が言語モデルに現れることが示唆された。
• 参考スコア（独自算出の注目度）: 27.407379293112587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Symbol grounding (Harnad, 1990) describes how symbols such as words acquire their meanings by connecting to real-world sensorimotor experiences. Recent work has shown preliminary evidence that grounding may emerge in (vision-)language models trained at scale without using explicit grounding objectives. Yet, the specific loci of this emergence and the mechanisms that drive it remain largely unexplored. To address this problem, we introduce a controlled evaluation framework that systematically traces how symbol grounding arises within the internal computations through mechanistic and causal analysis. Our findings show that grounding concentrates in middle-layer computations and is implemented through the aggregate mechanism, where attention heads aggregate the environmental ground to support the prediction of linguistic forms. This phenomenon replicates in multimodal dialogue and across architectures (Transformers and state-space models), but not in unidirectional LSTMs. Our results provide behavioral and mechanistic evidence that symbol grounding can emerge in language models, with practical implications for predicting and potentially controlling the reliability of generation.
• Abstract（参考訳）: 記号接頭辞 (Harnad, 1990) は、語などの記号が現実世界の感覚運動者体験に接続することによって、その意味をいかに獲得するかを記述している。 最近の研究は、明確な接地目的を使わずに、大規模に訓練された(ビジョン-)言語モデルに接地が現れるという予備的な証拠を示している。 しかし、この出現の特定の軌跡とそれを駆動するメカニズムはほとんど未解明のままである。 この問題に対処するために、機械的および因果解析により内部計算内でシンボル基底がどのように発生するかを体系的に追跡する制御された評価フレームワークを導入する。 本研究は,中層計算に集中し,アグリゲーション機構により,アグリゲーションヘッドが環境基盤を集約し,言語形態の予測を支援することを示唆する。 この現象は多モード対話やアーキテクチャ(トランスフォーマーや状態空間モデル)で再現されるが、一方向LSTMでは再現されない。 この結果から,記号接地が言語モデルに現れるという行動的・機械的証拠が得られ,生成の信頼性を予測し,潜在的に制御できる可能性が示唆された。

関連論文リスト

• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Reasoning Circuits in Language Models: A Mechanistic Interpretation of Syllogistic Inference [13.59675117792588]
  言語モデル(LM)に関する最近の研究は、体系的な推論原理を学べるかという議論を巻き起こしている。 本稿では,シロメトリクス推論の機械論的解釈について述べる。
  論文  参考訳（メタデータ） (2024-08-16T07:47:39Z)
• Language, Environment, and Robotic Navigation [0.0]
  本稿では,言語が抽象的なコミュニケーションシステムとして機能し,知覚経験の基盤的表現として機能する統一的な枠組みを提案する。 本稿では,分散意味論の認知モデルとその自律エージェントへの応用について概観し,言語統合システムの変容の可能性について述べる。
  論文  参考訳（メタデータ） (2024-04-03T20:30:38Z)
• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought [124.40905824051079]
  言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。 我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。 LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。 認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-06-22T05:14:00Z)
• Models of symbol emergence in communication: a conceptual review and a guide for avoiding local minima [0.0]
  計算シミュレーションは、通信の出現に関する仮説をテストする一般的な方法である。 我々は、いくつかの最も代表的なモデルの仮定と説明的対象を特定し、既知の結果を要約する。 この観点から、意味ある象徴的コミュニケーションの出現をモデル化する道のりをスケッチする。
  論文  参考訳（メタデータ） (2023-03-08T12:53:03Z)
• Color Overmodification Emerges from Data-Driven Learning and Pragmatic Reasoning [53.088796874029974]
  話者の指示表現は、実践的な言語使用の性質を照らし出すのに役立つ方法で、コミュニケーションイデアルから逸脱していることを示す。 ニューラルネットワークを学習エージェントとして採用することにより、過度な修正は、頻度の低い、あるいは正常な環境特性に結びつく可能性が高いことを示す。
  論文  参考訳（メタデータ） (2022-05-18T18:42:43Z)
• Emergent Communication with World Models [80.55287578801008]
  本稿では,自然言語メッセージを解釈する言語条件生成モデルのクラスであるLanguage World Modelsを紹介する。 我々は、この「観測」を永続記憶状態に組み込んで、リスニングエージェントのポリシーを条件付けします。 これにより、2次元グリッドワールド話者リスナーナビゲーションタスクにおける効果的なコミュニケーションとタスク成功が向上することを示す。
  論文  参考訳（メタデータ） (2020-02-22T02:34:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。