論文の概要: Transformers Linearly Represent Highly Structured World Models

• arxiv url: http://arxiv.org/abs/2605.18847v1
• Date: Wed, 13 May 2026 07:59:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.664963
• Title: Transformers Linearly Represent Highly Structured World Models
• Title（参考訳）: 変換器は高構造世界モデルを線形に表現する
• Abstract要約: 本研究では,Sudokuのトレースを解く8層トランスをトレーニングし,内部計算の力学解析を行う。 最終層に専用ニューロンの小さなセットを配置し、それぞれが特定のセルに対して正確に1桁の値が残っていることを個別に検出する。
• 参考スコア（独自算出の注目度）: 2.4732707667151286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do transformers, when trained on sequential reasoning traces, build internal models of the underlying task? And if so, does the structure of those internal representations mirror the structure of the domain? We train an 8-layer transformer on Sudoku solving traces and perform a mechanistic analysis of its internal computation. We establish two results. First, the model builds a substructure world model: it does not represent the board state cell by cell, as a human analyst would expect, but organizes information around the rows, columns, and boxes that Sudoku's constraints act on. Second, we identify a naked-single circuit: a small set of dedicated neurons in the final MLP layer, each individually detecting when exactly one digit remains possible for a specific cell, and reliably promoting that digit. These findings show that the geometry of an emergent world model is shaped by the constraint algebra of the domain, not its surface presentation, and that the resulting decision circuit is sparse, monosemantic, and fully interpretable. More broadly, they demonstrate that mechanistic interpretability tools can recover an end-to-end algorithmic account of how a transformer solves a combinatorial reasoning task.
• Abstract（参考訳）: トランスフォーマーは、シーケンシャルな推論トレースに基づいてトレーニングされた場合、基礎となるタスクの内部モデルを構築しますか? もしそうなら、これらの内部表現の構造はドメインの構造を反映しているのか? 本研究では,Sudokuのトレースを解く8層トランスをトレーニングし,内部計算の力学解析を行う。 2つの結果が得られます。 まず、モデルはサブ構造の世界モデルを構築します。それは、人間のアナリストが期待するように、ボード状態のセルをセルで表現するのではなく、スドクの制約が実行している行、列、ボックスに関する情報を整理します。 第2に、裸単子回路を同定し、最後のMLP層に専用ニューロンの小さなセットを配置し、それぞれが特定のセルに対して正確に1桁がいつ残っているかを個別に検出し、その桁を確実に推進する。 これらの結果から、創発的世界モデルの幾何学は、表面表現ではなく領域の制約代数によって形成され、結果として得られる決定回路はスパースであり、単意味であり、完全に解釈可能であることが示された。 より広い範囲で、彼らは機械的解釈可能性ツールが、変換器が組合せ推論タスクを解く方法のエンドツーエンドのアルゴリズム的説明を復元できることを示した。

関連論文リスト

• Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
  視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。 分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。 これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
  論文  参考訳（メタデータ） (2026-04-15T23:25:46Z)
• Transformers learn factored representations [62.86679034549244]
  トランスフォーマーは次のトークン予測を通じて事前訓練を受け、自分の世界を部品に分解する。 1) すべての因子の積空間における表現であり、その次元は成分の数とともに指数関数的に増加する。 我々は,部分空間の数,次元,文脈埋め込みの配置など,各活性化の幾何学的構造に関する正確な予測を導出する。 このことは、トランスフォーマーがなぜ世界を部品に分解するかを原理的に説明し、複雑なデータで訓練されたモデルでも解釈可能な低次元構造が持続する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T17:49:06Z)
• Structure Development in List-Sorting Transformers [0.0]
  本研究では,一層アテンションのみの変換器が,数列のソートを学習しながら,関連する構造をどのように発達させるかを検討する。 トレーニングの終わりに、モデルは注意を2つのモードで整理し、語彙分割と複写圧縮と呼ぶ。
  論文  参考訳（メタデータ） (2025-01-30T15:56:25Z)
• Causal Language Modeling Can Elicit Search and Reasoning Capabilities on Logic Puzzles [14.777731830394357]
  本研究では,因果言語モデリングが,数独パズルの解法などの複雑な課題を学習できるかどうかを考察する。 この合成タスクで訓練されたトランスフォーマーモデルが実際にスドクスの解法を学習できることが示される。 また、分析結果をZebraパズル(アインシュタインパズルとして知られる)に拡張し、モデルが92.04 %のパズルを完全に正しく解いていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T17:42:15Z)
• Can Transformers Do Enumerative Geometry? [44.99833362998488]
  計算列挙幾何に対する Transformer ベースのアプローチを提案する。 私たちは、10-45$から1045$までの値の交叉数を計算します。 ネットワークは、純粋にデータ駆動方式で、ヴィラソロ制約を暗黙的にモデル化していることを示す。
  論文  参考訳（メタデータ） (2024-08-27T09:44:01Z)
• Structured World Representations in Maze-Solving Transformers [3.75591091941815]
  この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。 迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。 また,注目ヘッドの同定により経路追従回路の解読を行う。
  論文  参考訳（メタデータ） (2023-12-05T08:24:26Z)
• Transformers are uninterpretable with myopic methods: a case study with bounded Dyck grammars [36.780346257061495]
  解釈可能性法は、訓練されたモデルによって実装されたアルゴリズムを理解することを目的としている。 私たちは、モデルの個々の部分にのみフォーカスするメソッドの批判的な見解を取ります。
  論文  参考訳（メタデータ） (2023-12-03T15:34:46Z)
• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Characterizing Intrinsic Compositionality in Transformers with Tree Projections [72.45375959893218]
  トランスのようなニューラルモデルは、入力の異なる部分間で情報を任意にルーティングすることができる。 3つの異なるタスクに対するトランスフォーマーは、トレーニングの過程でより木のようなものになることを示す。 これらの木はモデル挙動を予測し、より木のようなモデルは構成的一般化のテストにおいてより良く一般化する。
  論文  参考訳（メタデータ） (2022-11-02T17:10:07Z)
• Transformers Learn Shortcuts to Automata [52.015990420075944]
  低深度変換器は任意の有限状態オートマトンを計算できる。 我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。 さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
  論文  参考訳（メタデータ） (2022-10-19T17:45:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。