論文の概要: Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

• arxiv url: http://arxiv.org/abs/2605.12412v1
• Date: Tue, 12 May 2026 17:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.042417
• Title: Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
• Title（参考訳）: 空間におけるストーリー:概念的空間における文脈学習の軌跡
• Authors: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana,
• Abstract要約: 大規模言語モデル(LLM)は、その振る舞いを文脈で更新し、ベイズ推論の一形態と見なすことができる。 我々は,LLMが低次元幾何学空間(概念的信念空間)上の信念を割り当てることを提案し,文脈内学習は時間とともに信念が更新されるにつれて,この空間を通しての軌跡に対応することを提案する。
• 参考スコア（独自算出の注目度）: 24.005442880672003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) update their behavior in context, which can be viewed as a form of Bayesian inference. However, the structure of the latent hypothesis space over which this inference operates remains unclear. In this work, we propose that LLMs assign beliefs over a low-dimensional geometric space - a conceptual belief space - and that in-context learning corresponds to a trajectory through this space as beliefs are updated over time. Using story understanding as a natural setting for dynamic belief updating, we combine behavioral and representational analyses to study these trajectories. We find that (1) belief updates are well-described as trajectories on low-dimensional, structured manifolds; (2) this structure is reflected consistently in both model behavior and internal representations and can be decoded with simple linear probes to predict behavior; and (3) interventions on these representations causally steer belief trajectories, with effects that can be predicted from the geometry of the conceptual space. Together, our results provide a geometric account of belief dynamics in LLMs, grounding Bayesian interpretations of in-context learning in structured conceptual representations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、その振る舞いを文脈で更新し、ベイズ推論の一形態と見なすことができる。 しかし、この推論が作用する潜在仮説空間の構造はいまだ不明である。 本研究では、LLMが低次元幾何学空間(概念的信念空間)上の信念を割り当て、文脈内学習は、時間とともに信念が更新されるにつれて、この空間を通しての軌跡に対応することを提案する。 動的信念更新の自然な設定としてストーリー理解を用いることで,行動分析と表現解析を組み合わせ,これらの軌跡を考察する。 その結果,(1) 信念の更新は低次元構造多様体上のトラジェクトリとしてよく記述されており,(2) この構造はモデル行動と内部表現の両方に一貫して反映され, 振舞いを予測するための単純な線形プローブで復号化可能であること,(3) これらの表現への介入は, 概念空間の幾何学から予測できる効果とともに因果的にステア信念のトラジェクトリであることがわかった。 この結果は,LLMにおける信念力学の幾何学的説明を提供し,構造化概念表現における非文脈学習のベイズ的解釈を基礎づけるものである。

関連論文リスト

• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• A Geometric Unification of Concept Learning with Concept Cones [58.70836885177496]
  解釈可能性の2つの伝統は、並べて進化してきたが、互いに話すことはめったにない:概念ボトルネックモデル(CBM)とスパースオートエンコーダ(SAE)。 両パラダイムが同じ幾何学的構造をインスタンス化することを示す。 CBMは人間の定義した参照ジオメトリを提供するが、SAEは学習した円錐がCBMをどの程度よく近似するか、あるいは包含しているかによって評価することができる。
  論文  参考訳（メタデータ） (2025-12-08T09:51:46Z)
• The Geometry of Reasoning: Flowing Logics in Representation Space [27.047532187192278]
  大規模言語モデル(LLM)が表現空間を通してどのように考えるかを研究する。 フローとしてのLCMの推論をモデル化する新しい幾何学的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-10T18:44:00Z)
• Native Logical and Hierarchical Representations with Subspace Embeddings [25.274936769664098]
  線形部分空間として概念を埋め込むという新しいパラダイムを導入する。 交叉(接点)や線形和(接点)のような集合論的な操作を自然にサポートする 提案手法は,WordNet上での再構築とリンク予測の最先端化を実現する。
  論文  参考訳（メタデータ） (2025-08-21T18:29:17Z)
• Revealing emergent human-like conceptual representations from language prediction [90.73285317321312]
  大規模言語モデル(LLMs)は、人間らしい振る舞いを示すテキストの次のトーケン予測によってのみ訓練される。 これらのモデルでは、概念は人間のものと似ていますか? LLMは、他の概念に関する文脈的手がかりに関連して、言語記述から柔軟に概念を導出できることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T23:54:17Z)
• A Geometric Notion of Causal Probing [85.49839090913515]
  線形部分空間仮説は、言語モデルの表現空間において、動詞数のような概念に関するすべての情報が線形部分空間に符号化されていることを述べる。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 2つの言語モデルにまたがる少なくとも1つの概念に対して、この概念のサブスペースは、生成された単語の概念値を精度良く操作することができる。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Learning Group Structure and Disentangled Representations of Dynamical Environments [7.4769019455423855]
  本稿では,その進化を生成する変換を中心に構築された動的環境の表現を学習するためのフレームワークを提案する。 逐次的相互作用によって生成された観測データから、目立った対称環境の構造を監督せずに学習する。 提案手法は, 高精度な長距離予測を可能にするとともに, 潜伏空間における予測品質と絡み合いの相関関係を示す。
  論文  参考訳（メタデータ） (2020-02-17T14:59:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。