論文の概要: Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.07794v1
• Date: Sun, 08 Feb 2026 03:14:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:24.802531
• Title: Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるフレキシブルなインコンテキスト推論を支援する創発的構造化表現
• Abstract要約: 大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
• 参考スコア（独自算出の注目度）: 77.98801218316505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit emergent behaviors suggestive of human-like reasoning. While recent work has identified structured, human-like conceptual representations within these models, it remains unclear whether they functionally rely on such representations for reasoning. Here we investigate the internal processing of LLMs during in-context concept inference. Our results reveal a conceptual subspace emerging in middle to late layers, whose representational structure persists across contexts. Using causal mediation analyses, we demonstrate that this subspace is not merely an epiphenomenon but is functionally central to model predictions, establishing its causal role in inference. We further identify a layer-wise progression where attention heads in early-to-middle layers integrate contextual cues to construct and refine the subspace, which is subsequently leveraged by later layers to generate predictions. Together, these findings provide evidence that LLMs dynamically construct and use structured, latent representations in context for inference, offering insights into the computational processes underlying flexible adaptation.
• Abstract（参考訳）: 大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 近年の研究では、これらのモデルの中で構造化された人間のような概念表現が特定されているが、それらが推論のために機能的にそのような表現に依存しているかどうかは不明である。 本稿では,テキスト内概念推論におけるLLMの内部処理について検討する。 この結果から,中層から後期層に出現する概念的部分空間が,その表現構造は文脈にまたがって持続することが明らかとなった。 因果媒介分析を用いて、この部分空間は単にエピノメノンではなく、モデル予測の中心であり、推論における因果的役割を確立していることを示す。 さらに、初期から中級層の注目がコンテキスト的手がかりを統合してサブスペースを構築し、洗練し、その後、後続の層に活用して予測を生成するレイヤワイド・プログレクションを同定する。 これらの結果は、LLMが動的に構造化された潜在表現を推論のために構築し、使用し、フレキシブル適応の基礎となる計算過程に関する洞察を提供する証拠となる。

関連論文リスト

• Reasoning emerges from constrained inference manifolds in large language models [98.6966322378456]
  我々は推論中の内部表現の進化を調べることによって、本質的な力学過程としての推論を研究する。 このような幾何学的圧縮は広く普及しているが、安定的あるいは信頼性のある推論には不十分である。
  論文  参考訳（メタデータ） (2026-05-02T10:41:20Z)
• Wiring the 'Why': A Unified Taxonomy and Survey of Abductive Reasoning in LLMs [6.369429101077227]
  本稿では,Large Language Models (LLMs) における帰納的推論に関する最初の調査について述べる。 この分野で広く普及している概念的混乱とタスク定義の合成に対処するため,我々は,先行作業を正式に分類する統合された2段階定義を確立する。 文献を包括的に分類し,それらの帰納的タスク,データセット,基礎となる方法論,評価戦略に基づいて事前作業の分類を行う。
  論文  参考訳（メタデータ） (2026-04-09T09:16:00Z)
• From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents [45.1959078540948]
  大規模言語モデル(LLM)は、対話的な環境で推論、計画、行動が可能な自律エージェントとして、ますます多くデプロイされている。 本稿では,LLMエージェントにおける概念の時間的進化をステップワイドな共形レンズで解釈する枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-27T22:29:01Z)
• Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale [50.33952894976367]
  我々は文脈自由文法を用いて、ウェブスケールテキストコーパスのための忠実で効率的なプロキシである合成コーパスを生成する。 設計したデータ生成プロセスにおいて,誘導ヘッド,関数ベクトル,ハイドラ効果という3つの力学現象の出現について検討する。 これらの現象の出現を説明する上で,データ生成プロセスの階層構造がX因子となることが示唆された。
  論文  参考訳（メタデータ） (2026-02-04T14:49:13Z)
• The Evolving Nature of Latent Spaces: From GANs to Diffusion [2.9612444540570113]
  拡散モデルが表現の重みをいかに断片化し、統一された内部空間の仮定に挑戦するかを示す。 我々は、生成的AIがどのように理解されているかを再考する:コンテンツを直接合成するのではなく、専門的なプロセスの創発的な構成としてである。
  論文  参考訳（メタデータ） (2025-10-20T10:20:42Z)
• Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。 最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。 本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
  論文  参考訳（メタデータ） (2025-09-02T14:16:02Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• From Compression to Expression: A Layerwise Analysis of In-Context Learning [24.45948310980883]
  In-context Learning (ICL)は、大規模な言語モデルで、デモシーケンスから学習することで、重み付けなしで新しいタスクに適応することができる。 ICL表現の統計的幾何学的解析を行い,各層にまたがるタスク固有情報の取得方法について検討する。 この結果から,ILC の階層的ダイナミックな構造的表現が LLM 内でどのように現れるかが明らかとなり,内部表現の分析がモデル行動のより深い理解を促進することが示唆された。
  論文  参考訳（メタデータ） (2025-05-22T22:22:03Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。