論文の概要: Transformers Linearly Represent Highly Structured World Models

• arxiv url: http://arxiv.org/abs/2605.18847v1
• Date: Wed, 13 May 2026 07:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.664963
• Title: Transformers Linearly Represent Highly Structured World Models
• Title（参考訳）: 変換器は高構造世界モデルを線形に表現する
• Authors: Roman Kniazev, Nathanaël Fijalkow,
• Abstract要約: 本研究では,Sudokuのトレースを解く8層トランスをトレーニングし,内部計算の力学解析を行う。 最終層に専用ニューロンの小さなセットを配置し、それぞれが特定のセルに対して正確に1桁の値が残っていることを個別に検出する。
• 参考スコア（独自算出の注目度）: 2.4732707667151286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do transformers, when trained on sequential reasoning traces, build internal models of the underlying task? And if so, does the structure of those internal representations mirror the structure of the domain? We train an 8-layer transformer on Sudoku solving traces and perform a mechanistic analysis of its internal computation. We establish two results. First, the model builds a substructure world model: it does not represent the board state cell by cell, as a human analyst would expect, but organizes information around the rows, columns, and boxes that Sudoku's constraints act on. Second, we identify a naked-single circuit: a small set of dedicated neurons in the final MLP layer, each individually detecting when exactly one digit remains possible for a specific cell, and reliably promoting that digit. These findings show that the geometry of an emergent world model is shaped by the constraint algebra of the domain, not its surface presentation, and that the resulting decision circuit is sparse, monosemantic, and fully interpretable. More broadly, they demonstrate that mechanistic interpretability tools can recover an end-to-end algorithmic account of how a transformer solves a combinatorial reasoning task.
• Abstract（参考訳）: トランスフォーマーは、シーケンシャルな推論トレースに基づいてトレーニングされた場合、基礎となるタスクの内部モデルを構築しますか? もしそうなら、これらの内部表現の構造はドメインの構造を反映しているのか? 本研究では,Sudokuのトレースを解く8層トランスをトレーニングし,内部計算の力学解析を行う。 2つの結果が得られます。 まず、モデルはサブ構造の世界モデルを構築します。それは、人間のアナリストが期待するように、ボード状態のセルをセルで表現するのではなく、スドクの制約が実行している行、列、ボックスに関する情報を整理します。 第2に、裸単子回路を同定し、最後のMLP層に専用ニューロンの小さなセットを配置し、それぞれが特定のセルに対して正確に1桁がいつ残っているかを個別に検出し、その桁を確実に推進する。 これらの結果から、創発的世界モデルの幾何学は、表面表現ではなく領域の制約代数によって形成され、結果として得られる決定回路はスパースであり、単意味であり、完全に解釈可能であることが示された。 より広い範囲で、彼らは機械的解釈可能性ツールが、変換器が組合せ推論タスクを解く方法のエンドツーエンドのアルゴリズム的説明を復元できることを示した。

関連論文リスト

• Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
  視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。 分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。 これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
  論文  参考訳（メタデータ） (2026-04-15T23:25:46Z)
• Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles [14.777731830394357]
  本研究では,因果言語モデリングが,数独パズルの解法などの複雑な課題を学習できるかどうかを考察する。 この合成タスクで訓練されたトランスフォーマーモデルが実際にスドクスの解法を学習できることが示される。 また、分析結果をZebraパズル(アインシュタインパズルとして知られる)に拡張し、モデルが92.04 %のパズルを完全に正しく解いていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:42:15Z)
• Can Transformers Do Enumerative Geometry? [44.99833362998488]
  計算列挙幾何に対する Transformer ベースのアプローチを提案する。 私たちは、10-45$から1045$までの値の交叉数を計算します。 ネットワークは、純粋にデータ駆動方式で、ヴィラソロ制約を暗黙的にモデル化していることを示す。
  論文  参考訳（メタデータ） (2024-08-27T09:44:01Z)
• Structured World Representations in Maze-Solving Transformers [3.75591091941815]
  この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。 迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。 また,注目ヘッドの同定により経路追従回路の解読を行う。
  論文  参考訳（メタデータ） (2023-12-05T08:24:26Z)
• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。