論文の概要: Verbalizable Representations Form a Global Workspace in Language Models
- arxiv url: http://arxiv.org/abs/2607.15495v1
- Date: Thu, 16 Jul 2026 22:54:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.715706
- Title: Verbalizable Representations Form a Global Workspace in Language Models
- Title（参考訳）: 言語モデルにおけるグローバルなワークスペースを形成する言語表現
- Abstract要約: 大規模言語モデルに類似した機能的区別が出現した証拠を提示する。
モデルがその処理のどの時点でも言語化を意図した表現を識別する。
言語モデルでは,意識的アクセスという機能的特徴を持つ,小さな特権的な表現が維持されていることがわかった。
- 参考スコア（独自算出の注目度）: 13.088673968096884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out of everything the human brain processes, only a small fraction is consciously accessible, in the sense of being available for verbal report, deliberate control, and flexible reasoning. In this paper, we present evidence that an analogous functional distinction has emerged in large language models. Using a new interpretability technique, the Jacobian lens, we identify the representations a model is poised to verbalize at any point in its processing. These representations, which we collectively call the J-space, exhibit the functional properties characteristic of a global workspace: their contents can be reported, deliberately summoned and held, used to carry the intermediate steps of silent reasoning, and passed as arguments to arbitrary downstream computations, while automatic processing such as text parsing and routine inference proceeds without them. The J-space also has structural signatures that global workspace theory associates with conscious access: it carries coherent content only in an intermediate band of layers, holds on the order of tens of concepts at a time, and is broadcast by the model's weights more widely than other representations. These properties make it a practical window into a model's unspoken thinking. In alignment audits, it reveals strategic deliberation, evaluation awareness, and trained-in misaligned dispositions that never appear in the model's outputs. We find that post-training installs the Assistant's point of view in the workspace, and we introduce counterfactual reflection training, which improves behavior by training only what a model would say if interrupted and asked to reflect. These results indicate that language models maintain a small, privileged set of representations bearing some of the functional hallmarks of conscious access, and that decoding these representations sheds light on ongoing cognitive processes.
- Abstract（参考訳）: 人間の脳が処理するあらゆるものの中で、言葉による報告、故意の制御、柔軟な推論に利用できるという意味で、意識的にアクセス可能なのはごくわずかである。
本稿では,大言語モデルに類似した機能的特徴が出現していることを示す。
ヤコビアンレンズ(英語版)と呼ばれる新しい解釈可能性技術を用いて、モデルがその処理の任意の時点で言語化しようとする表現を識別する。
これらの表現は、J空間を総称して、グローバルなワークスペースの機能特性を示し、その内容は報告、意図的に呼び出され、保持され、サイレント推論の中間ステップを実行し、任意のダウンストリーム計算への引数として渡され、テキスト解析やルーチン推論などの自動処理は不要となる。
J-空間はまた、グローバルなワークスペース理論が意識的なアクセスと結びつく構造的シグネチャも持っている: 階層の中間帯域にのみコヒーレントな内容を持ち、同時に数十の概念の順序を保ち、モデルの重みによって他の表現よりも広く放送される。
これらの特性は、モデルの見知らぬ思考に実用的な窓をあける。
アライメント監査では、戦略的な熟考、評価の意識、モデルの出力に決して現れないトレーニングされた不正な配置を明らかにする。
ポストトレーニングでは、作業空間にアシスタントの視点をインストールし、反ファクトリフレクショントレーニングを導入し、中断してリフレクションを依頼した場合にモデルが何を言っているかのみをトレーニングすることで行動を改善する。
これらの結果は,言語モデルが意識的アクセスという機能的特徴を持つ,小さな特権的表現の集合を維持していることを示唆し,これらの表現の復号化が,現在進行中の認知過程に光を当てていることを示唆している。
関連論文リスト
- The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models [2.835219195516112]
総ストレージは周波数と予測可能性によって駆動される。
全てのモデルは、周波数と予測可能性によって駆動される総体的記憶の証拠を示し、言語の使用に基づく理論をさらに支持している。
論文 参考訳（メタデータ） (2026-06-12T00:27:42Z) - Shaping Schema via Language Representation as the Next Frontier for LLM Intelligence Expanding [88.11781604392606]
本稿では,言語表現を実世界の地図化とモデル化に使用される言語的・象徴的構造として定義する。
我々は、高度な言語表現によるスキーマ形成が、大規模言語モデルの拡張の次のフロンティアであると主張している。
論文 参考訳（メタデータ） (2026-05-10T02:42:29Z) - Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。
テキスト内概念推論におけるLLMの内部処理について検討する。
論文 参考訳（メタデータ） (2026-02-08T03:14:39Z) - A Markov Categorical Framework for Language Modeling [9.910562011343009]
自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。
本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。
この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
論文 参考訳（メタデータ） (2025-07-25T13:14:03Z) - Less is More: Local Intrinsic Dimensions of Contextual Language Models [15.934492316122025]
本研究では,テクスチュアな埋め込みの幾何学的特性に基づく新しい視点を導入し,トレーニングと微調整の効果について検討する。
局所的な次元はモデルのトレーニング力学と一般化能力に関する洞察を与える。
実験では, 平均局所次元の減少が伴う傾向にあり, その後のパフォーマンス向上が予測される傾向がある。
論文 参考訳（メタデータ） (2025-06-01T14:30:46Z) - The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models [40.128112851978116]
本研究では,異なるプロンプト法が言語モデルにおける表現の幾何学に与える影響について検討する。
本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。
我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。
論文 参考訳（メタデータ） (2025-02-11T23:09:50Z) - A Practical Method for Generating String Counterfactuals [106.98481791980367]
言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。
表現反事実を文字列反事実に変換する方法を提案する。
結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
論文 参考訳（メタデータ） (2024-02-17T18:12:02Z) - Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳（メタデータ） (2024-02-13T02:46:45Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-11-08T20:41:18Z) - Feature Interactions Reveal Linguistic Structure in Language Models [2.0178765779788495]
本研究では,ポストホック解釈における特徴帰属手法の文脈における特徴的相互作用について検討した。
私たちは、正規言語分類タスクで完璧にモデルをトレーニングする灰色のボックスの方法論を開発します。
特定の構成下では、いくつかの手法が実際にモデルが獲得した文法規則を明らかにすることができることを示す。
論文 参考訳（メタデータ） (2023-06-21T11:24:41Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。