論文の概要: Large Language Models Develop Belief State Geometry In-Context

• arxiv url: http://arxiv.org/abs/2609.17376v1
• Date: Tue, 15 Sep 2026 16:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.614535
• Title: Large Language Models Develop Belief State Geometry In-Context
• Title（参考訳）: 大規模言語モデルによる状態幾何の文脈への展開
• Abstract要約: 大規模言語モデル (LLM) は、文脈内学習能力に優れる。 我々はこのような表現を制御された設定で考慮し、隠れマルコフモデルから出力されたデータでLLMを誘導する。 我々は、信念状態が残留ストリームの活性化から線形にデオード可能であることを発見した。
• 参考スコア（独自算出の注目度）: 1.6972273159174482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) trained on next-token prediction exhibit remarkable in-context learning (ICL) abilities, yet the representations that support ICL remain poorly understood. We consider such representations in a controlled setting: prompting LLMs with data emitted from hidden Markov models (HMMs) and probing for the corresponding belief state -- the posterior distribution over the HMM's hidden states given the observed token history. Across six open-source LLMs prompted with data from 40 HMMs selected for non-trivial belief structure, we find that belief states are linearly decodable from residual stream activations, with peak probe $R^2$-values from 0.83-0.99 across HMM and LLM combinations, ranging from early to late layers. To establish functional relevance, we intervene directly on the probe-identified subspace via patching and steering, resulting in downstream prediction quality on the order of the untampered model, while controls degrade performance substantially. Together, these results provide representation-level evidence that ICL in open-source LLMs approximates optimal Bayesian prediction over a context-inferred generative model. More broadly, our findings extend prior results linking input-distribution structure to activation geometry: from toy networks trained explicitly on HMM data to production-scale LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、次世代の予測に基づいて訓練され、ICL(In-context Learning)の優れた能力を示すが、ICLをサポートする表現はいまだに理解されていない。 隠れマルコフモデル(HMM)から出力されるデータを用いてLSMを誘導し、観測されたトークン履歴から得られたHMMの隠れ状態の後方分布である対応する信念状態を求める。 非自明な信念構造のために選択された40個のHMMから抽出した6つのオープンソースLCMに対して、ピークプローブ$R^2$-values from 0.83-0.99 across HMM and LLM combinations, range from early to late layers, and we found that belief state are linear deodable from residual stream activations, with peak probe $R^2$-values from 0.83-0.99。 機能的関連性を確立するために、我々は、パッチとステアリングによりプローブ識別サブ空間に直接介入し、その結果、未変更モデルの順序で下流の予測品質が低下し、性能が著しく低下する。 これらの結果は、オープンソースLLMにおけるICLが文脈推論生成モデル上で最適なベイズ予測を近似する、表現レベルな証拠を提供する。 より広範に、我々の研究結果は、HMMデータに基づいて訓練されたおもちゃのネットワークからプロダクションスケールのLLMまで、入力分布構造とアクティベーション・ジオメトリをリンクする事前の結果を拡張した。

関連論文リスト

• Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models [12.294879009851476]
  大規模言語モデル(LLM)は、コンテキスト内学習(ICL)を介して隠れマルコフモデル(HMM)から次の観測を予測できる印象的な能力を示す。 我々はこのギャップを3段階のパイプラインで埋める。まず、LLMの振る舞いを一連の候補アルゴリズムと比較し、空間を3つのクラスに絞り込む。 第2に、3つのクラス間の理論的接続を導出し、トランスフォーマーによって各クラスがどのようにインコンテキストで実装できるかを示す。 第3に,モデルアクティベーションにおけるアルゴリズム信号の分離を行うレイヤワイド探索・介入法であるPrincipal Activations Probe(PAP)を導入する。
  論文  参考訳（メタデータ） (2026-06-24T17:42:19Z)
• What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization [5.663538370244175]
  ベイジアンロジスティック回帰のための情報的事前分布を抽出する決定論的手法であるLoIDを提案する。 生成したテキストに頼るのではなく、注意深く構築された文を通して、モデルが対立する意味的方向に対する自信を探索する。 合成アウトオブディストリビューション(OOD)設定下で10個の実世界のデータセット上でLoIDを評価する。
  論文  参考訳（メタデータ） (2026-01-24T22:05:01Z)
• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs [57.82819770709032]
  大規模言語モデル (LLM) は、na "ive direct prompting" を通じて効果的な文脈支援予測を行うことができる。 ReDPは、明確な推論トレースを抽出することで、解釈可能性を改善し、コンテキスト上でモデルの推論を評価することができる。 CorDPはLLMを活用して、既存の予測をコンテキストで洗練し、現実の予測パイプラインにおける適用性を高める。 IC-DPは、文脈支援予測タスクの歴史的例を即時に組み込むことを提案し、大規模モデルにおいても精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-08-13T16:02:55Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Uncertainty-Aware Hybrid Inference with On-Device Small and Remote Large Language Models [49.48313161005423]
  ハイブリッド言語モデル(HLM)アーキテクチャは、モバイル端末で動作する小さな言語モデル(SLM)と、無線ネットワークの基地局(BS)にホストされる大きな言語モデル(LLM)を統合する。 HLMトークン生成プロセスは、投機的推論の原則に従っている: SLMの語彙分布はLSMにアップロードされ、LPMによって再サンプリングされる。 本研究では,不確実性を考慮したHLM (Uncertainty-aware opportunistic HLM) という新しいHLM構造を提案する。
  論文  参考訳（メタデータ） (2024-12-17T09:08:18Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• A Comprehensive Evaluation of Large Language Models on Temporal Event Forecasting [45.0261082985087]
  時間的事象予測のための大規模言語モデル(LLM)を総合的に評価する。 テキストによる微調整 LLM は性能を著しく向上させることができる。 しかし、LLMでは人気バイアスやロングテール問題などの問題が続いている。
  論文  参考訳（メタデータ） (2024-07-16T11:58:54Z)
• PhyloLM : Inferring the Phylogeny of Large Language Models and Predicting their Performances in Benchmarks [13.503004451037212]
  本稿では,Large Language Models(LLMs)に系統解析アルゴリズムを適用するPhyloLMを紹介する。 本手法は, LLMsの出力の類似性に基づいて系統的距離測定値を算出する。 我々の系統的距離は標準ベンチマークの性能を予測し,その機能的妥当性を示す。
  論文  参考訳（メタデータ） (2024-04-06T16:16:30Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。