論文の概要: Quantitative Introspection in Language Models: Tracking Internal States Across Conversation

• arxiv url: http://arxiv.org/abs/2603.18893v1
• Date: Thu, 19 Mar 2026 13:33:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.168935
• Title: Quantitative Introspection in Language Models: Tracking Internal States Across Conversation
• Title（参考訳）: 言語モデルにおける量的イントロスペクション:会話全体における内部状態の追跡
• Authors: Nicolas Martorell,
• Abstract要約: この研究は人間の心理学からインスピレーションを得ており、数値的な自己報告は内部状態を追跡するのに広く使われているツールである。 我々は40対の会話で4つの概念ペア(幸福、興味、焦点、衝動)を研究する。 イントロスペクションはターン1に存在するが,会話を通じて進化し,別のイントロスペクションを促進するために,ある概念に沿ってステアリングすることで選択的に改善できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tracking the internal states of large language models across conversations is important for safety, interpretability, and model welfare, yet current methods are limited. Linear probes and other white-box methods compress high-dimensional representations imperfectly and are harder to apply with increasing model size. Taking inspiration from human psychology, where numeric self-report is a widely used tool for tracking internal states, we ask whether LLMs' own numeric self-reports can track probe-defined emotive states over time. We study four concept pairs (wellbeing, interest, focus, and impulsivity) in 40 ten-turn conversations, operationalizing introspection as the causal informational coupling between a model's self-report and a concept-matched probe-defined internal state. We find that greedy-decoded self-reports collapse outputs to few uninformative values, but introspective capacity can be unmasked by calculating logit-based self-reports. This metric tracks interpretable internal states (Spearman $ρ= 0.40$-$0.76$; isotonic $R^2 = 0.12$-$0.54$ in LLaMA-3.2-3B-Instruct), follows how those states change over time, and activation steering confirms the coupling is causal. Furthermore, we find that introspection is present at turn 1 but evolves through conversation, and can be selectively improved by steering along one concept to boost introspection for another ($ΔR^2$ up to $0.30$). Crucially, these phenomena scale with model size in some cases, approaching $R^2 \approx 0.93$ in LLaMA-3.1-8B-Instruct, and partially replicate in other model families. Together, these results position numeric self-report as a viable, complementary tool for tracking internal emotive states in conversational AI systems.
• Abstract（参考訳）: 会話を通じて大きな言語モデルの内部状態を追跡することは、安全性、解釈可能性、モデル福祉にとって重要であるが、現在の手法は限られている。 線形プローブや他のホワイトボックス法は、高次元表現を不完全に圧縮し、モデルサイズが大きくなるにつれて適用が困難になる。 人間の心理学からインスピレーションを得て、内部状態を追跡するために、数値的な自己報告が広く使われるツールである。 モデル自己報告と概念整合型プローブ定義内部状態の因果的情報結合としてのイントロスペクションを運用し、40の10ターン会話における4つの概念ペア(ウェルビー、関心、焦点、衝動)について検討する。 グリーディーデコードされた自己レポートの崩壊出力は非形式的な少ない値に抑えられるが,ロジットに基づく自己レポートの計算によってイントロスペクティブキャパシティを非意味にすることができる。 この計量は解釈可能な内部状態(Spearman $ρ = 0.40$-$0.76$; isotonic $R^2 = 0.12$-$0.54$ in LLaMA-3.2-3B-Instruct)を追跡し、それらの状態が時間とともにどのように変化するかを確認し、活性化ステアリングは結合が因果的であることを示す。 さらに、イントロスペクションはターン1に存在するが、会話を通じて進化し、ある概念に沿ってステアリングすることで、別の概念(ΔR^2$から0.30$まで)のイントロスペクションを促進することで選択的に改善することができる。 重要なことに、これらの現象はモデルサイズとともにスケールし、LLaMA-3.1-8B-インストラクトで$R^2 \approx 0.93$に近づき、他のモデルファミリーで部分的に複製される。 これらの結果は、会話型AIシステムにおける内部の感情状態を追跡するための、数値的な自己報告を実行可能な補完ツールとして位置付けている。

関連論文リスト

• Does Self-Evaluation Enable Wireheading in Language Models? [0.47745223151611654]
  報奨信号に対する自己評価の結合がワイヤヘッドのインセンティブを生み出すかどうかを検討する。 自己グレードが報酬を決定すると、モデルが相当量のインフレーションを示すが、それに対応する精度は得られない。 報奨信号から自己グレードを分離することは、このインフレーションを緩和するが、モデルはより少ない(しかし重要な)過剰な自信を示す可能性がある。
  論文  参考訳（メタデータ） (2025-11-28T11:24:03Z)
• LLMs Can Get "Brain Rot"! [68.08198331505695]
  ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-15T13:28:49Z)
• Evaluation Awareness Scales Predictably in Open-Weights Large Language Models [8.165127822088499]
  評価の認知度はモデルサイズとともに予測可能に向上することを示す。 このスケーリング法則は、将来の大規模モデルにおいて、偽装行動を予測することを可能にし、AI安全性のためのスケールアウェア評価戦略の設計をガイドする。
  論文  参考訳（メタデータ） (2025-09-10T06:36:38Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Information Locality as an Inductive Bias for Neural Language Models [52.92279412466086]
  本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。 これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T15:21:05Z)
• $\texttt{DIAMONDs}$: A Dataset for $\mathbb{D}$ynamic $\mathbb{I}$nformation $\mathbb{A}$nd $\mathbb{M}$ental modeling $\mathbb{O}$f $\mathbb{N}$umeric $\mathbb{D}$iscussions [16.052621415969696]
  本稿では,高品質なベンチマーク・問合せペアを生成するためのスケーラブルな手法を提案する。 $texttDIAMONDs$は新しい会話型QAデータセットで、共通のビジネス、財務、その他のグループインタラクションをカバーしている。 我々の最先端言語モデルに対する評価は、参加者中心の推論を扱う上で重要な課題であることを示している。
  論文  参考訳（メタデータ） (2025-05-19T03:05:13Z)
• Brittle Minds, Fixable Activations: Understanding Belief Representations in Language Models [9.318796743761224]
  言語モデル(LM)を評価するための心の理論(ToM)タスクへの関心が高まりつつあるが、LMが自己や他者の精神状態を内部的にどのように表現しているかについては、ほとんど分かっていない。 本研究は、異なるスケールのモデル、トレーニングレギュラー、プロンプトを探索することで、LMにおける信念表現を初めて体系的に研究するものである。 我々の実験は、モデルサイズと微調整の両方が、他者の信念に対するLMの内部表現を大幅に改善する証拠を提供する。
  論文  参考訳（メタデータ） (2024-06-25T12:51:06Z)
• Meanings and Feelings of Large Language Models: Observability of Latent States in Generative AI [65.04274914674771]
  アメリカ心理学会(APA)によると、現在のLarge Language Models(LLM)は「フィーリング」ができない。 我々の分析は、モデルがユーザに見えない非自明な計算を実行できるようにする可能性のある設計に光を当てている。
  論文  参考訳（メタデータ） (2024-05-22T23:18:58Z)
• Goal Driven Discovery of Distributional Differences via Language Descriptions [58.764821647036946]
  大きなコーパスを採掘することは有用な発見をもたらすが、人間には時間がかかる。 我々は、ゴール駆動方式で2つの大きなコーパス間の差異を自動的に発見する新しいタスクD5を定式化する。 本稿では,OpenD5 の幅広い応用について,これまで不明な発見を著者に提示する。
  論文  参考訳（メタデータ） (2023-02-28T01:32:32Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。