論文の概要: Planting a Latent Variable in Natural-Looking Text: a More Realistic Test of Belief States in LLMs and Their Link to Concept Geometry

• arxiv url: http://arxiv.org/abs/2608.26887v1
• Date: Thu, 27 Aug 2026 09:45:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.335284
• Title: Planting a Latent Variable in Natural-Looking Text: a More Realistic Test of Belief States in LLMs and Their Link to Concept Geometry
• Title（参考訳）: 自然文における潜在変数の植え付け--LLMにおける信頼状態のより現実的なテストと概念幾何学との関係
• Abstract要約: 自然に見えるテキストの中に制御可能な潜在変数を配置する。 このコーパスで訓練された小さな変圧器モデルは、我々の植込み潜伏変数に関するベイズ的後続の信念を実際に追跡する。
• 参考スコア（独自算出の注目度）: 51.99454801210509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are thought to track "belief states," i.e., running probability distributions over the latent variables that govern language (Shai et al., 2024; Sarfati et al., 2026), but so far this has only been comprehensively demonstrated on toy synthetic data and in a few isolated case studies. It has also never been empirically connected to the geometry of LLM features (the concepts interpretability finds in model activations). In this work, we plant a controllable latent variable inside natural-looking text. An LLM teacher writes ordinary text while we "subliminally" steer it along one of K = 8 unrelated sparse autoencoder directions at each token, with the active directions following a ring-shaped Markov chain. A small transformer model trained on this corpus does indeed track the Bayesian posterior belief about our planted latent variable. Moreover, it also arranges the 8 states themselves on a ring, in the exact order of the Markov chain, which is supporting evidence that a concept's geometry can be formed by the statistical dynamics of the latent variable behind it.
• Abstract（参考訳）: LLMは、言語を支配する潜伏変数(Shai et al , 2024; Sarfati et al , 2026)の確率分布を追跡できると考えられているが、これまでのところ、これはおもちゃの合成データやいくつかの孤立したケーススタディでのみ包括的に実証されている。 また、LLM特徴の幾何学と経験的に結びついたことは一度もない(解釈可能性の概念はモデルアクティベーションに見られる)。 本研究では,自然文中に制御可能な潜在変数を配置する。 LLMの教師は通常のテキストを書き、K = 8の無関係な余分な自己エンコーダ方向の1つに沿って、リング状のマルコフ連鎖に続くアクティブな方向で操る。 このコーパスで訓練された小さな変圧器モデルは、我々の植込み潜伏変数に関するベイズ的後続の信念を実際に追跡する。 さらに、8つの状態自身を環上に配置し、マルコフ連鎖の正確な順序で、このことは、概念の幾何学がそれの背後にある潜在変数の統計力学によって形成されるという証拠を裏付けるものである。

関連論文リスト

• Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations [0.0]
  コンテンツを残しながらテキストを移動させる変換の終端が間違った統計量であることを示す。 我々は言語ループの形式主義を適応させ、意味保存変換の連鎖の不変性が初期状態の安定化器における終点部分とホロノミーにカノニカルに分解することを示す。 検出器の側面には正確なアイデンティティが示されており、残差統計はシードウィンドウが残った位置の数に比例する。
  論文  参考訳（メタデータ） (2026-08-19T18:36:51Z)
• Can Aha Moments Be Fake? Identifying True and Decorative Thinking Steps in Chain-of-Thought [72.45900226435289]
  大きな言語モデル(LLM)は、テスト時に長いチェーン・オブ・ソート(CoT)を生成することができ、複雑なタスクを解決できる。 提案したTrue Thinking Score (TTS) を用いて、各推論ステップの段階的因果関係がモデルの最終予測に与える影響を測定する。 我々は、LLMの潜在空間におけるTrueThinking方向を同定し、モデルに特定のCoTステップの実行や無視を強制することができる。
  論文  参考訳（メタデータ） (2025-10-28T20:14:02Z)
• (How) Do Language Models Track State? [52.03388573068501]
  トランスフォーマー言語モデル(LM)は、進化する世界の未観測状態を追跡する必要があるように見える振る舞いを示す。 順列を構成するために訓練された、あるいは微調整されたLMにおける状態追跡について検討した。 LMは2つの状態追跡機構のうちの1つを一貫して学習していることを示す。
  論文  参考訳（メタデータ） (2025-03-04T18:31:02Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation [72.93327642336078]
  本稿では,幻覚検出のための確率的フレームワークであるBelief Tree Propagation (BTProp)を提案する。 BTPropは、親ステートメントを子ステートメントに分解することで、論理的に関連するステートメントの信念ツリーを導入する。 複数の幻覚検出ベンチマークにおいて,AUROCとAUC-PRにより評価された基準線を3%-9%改善する。
  論文  参考訳（メタデータ） (2024-06-11T05:21:37Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• The Evolution of Statistical Induction Heads: In-Context Learning Markov Chains [28.41876902994335]
  In-context Learning (ICL) 機能がどのように出現するかを研究するために,Markov Chain シーケンスモデリングタスクを導入する。 このタスクで訓練されたトランスフォーマーは、正確な次の確率を計算するための統計的誘導ヘッドを形成する。 本研究では, 変圧器層間の相互作用から学習結果が得られたことを示し, より単純なユニグラム解の存在が最終ビッグラム解の形成を遅らせる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:36Z)
• Deep de Finetti: Recovering Topic Distributions from Large Language Models [10.151434138893034]
  大規模言語モデル(LLM)は長く一貫性のあるテキストを生成できる。 LLMは文書を特徴付ける潜在構造を表現する必要がある。 本稿では,文書のトピック構造を補完する側面について考察する。
  論文  参考訳（メタデータ） (2023-12-21T16:44:39Z)
• What's the Magic Word? A Control Theory of LLM Prompting [0.7499722271664144]
  我々は制御理論のレンズを通して迅速な工学を探求する。 LLMのパネルの制御性に関する実験結果を示す。 短いプロンプトシーケンスは、特定の出力の可能性を劇的に変えることができる。
  論文  参考訳（メタデータ） (2023-10-02T22:35:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。