論文の概要: Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.07794v2
• Date: Tue, 10 Feb 2026 03:44:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 15:31:43.025981
• Title: Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるフレキシブルなインコンテキスト推論を支援する創発的構造化表現
• Authors: Ningyu Xu, Qi Zhang, Xipeng Qiu, Xuanjing Huang,
• Abstract要約: 大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
• 参考スコア（独自算出の注目度）: 77.98801218316505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit emergent behaviors suggestive of human-like reasoning. While recent work has identified structured, human-like conceptual representations within these models, it remains unclear whether they functionally rely on such representations for reasoning. Here we investigate the internal processing of LLMs during in-context concept inference. Our results reveal a conceptual subspace emerging in middle to late layers, whose representational structure persists across contexts. Using causal mediation analyses, we demonstrate that this subspace is not merely an epiphenomenon but is functionally central to model predictions, establishing its causal role in inference. We further identify a layer-wise progression where attention heads in early-to-middle layers integrate contextual cues to construct and refine the subspace, which is subsequently leveraged by later layers to generate predictions. Together, these findings provide evidence that LLMs dynamically construct and use structured, latent representations in context for inference, offering insights into the computational processes underlying flexible adaptation.
• Abstract（参考訳）: 大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 近年の研究では、これらのモデルの中で構造化された人間のような概念表現が特定されているが、それらが推論のために機能的にそのような表現に依存しているかどうかは不明である。 本稿では,テキスト内概念推論におけるLLMの内部処理について検討する。 この結果から,中層から後期層に出現する概念的部分空間が,その表現構造は文脈にまたがって持続することが明らかとなった。 因果媒介分析を用いて、この部分空間は単にエピノメノンではなく、モデル予測の中心であり、推論における因果的役割を確立していることを示す。 さらに、初期から中級層の注目がコンテキスト的手がかりを統合してサブスペースを構築し、洗練し、その後、後続の層に活用して予測を生成するレイヤワイド・プログレクションを同定する。 これらの結果は、LLMが動的に構造化された潜在表現を推論のために構築し、使用し、フレキシブル適応の基礎となる計算過程に関する洞察を提供する証拠となる。

関連論文リスト

• The Evolving Nature of Latent Spaces: From GANs to Diffusion [2.9612444540570113]
  拡散モデルが表現の重みをいかに断片化し、統一された内部空間の仮定に挑戦するかを示す。 我々は、生成的AIがどのように理解されているかを再考する:コンテンツを直接合成するのではなく、専門的なプロセスの創発的な構成としてである。
  論文  参考訳（メタデータ） (2025-10-20T10:20:42Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。