論文の概要: Structured World Representations in Maze-Solving Transformers
- arxiv url: http://arxiv.org/abs/2312.02566v1
- Date: Tue, 5 Dec 2023 08:24:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 16:30:27.244733
- Title: Structured World Representations in Maze-Solving Transformers
- Title(参考訳): 迷路ソルビング変圧器の構造的世界表現
- Authors: Michael Igorevich Ivanitskiy, Alex F. Spies, Tilman R\"auker,
Guillaume Corlouer, Chris Mathwin, Lucia Quirke, Can Rager, Rusheb Shah, Dan
Valentine, Cecilia Diniz Behn, Katsumi Inoue, Samy Wu Fung
- Abstract要約: この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。
迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。
また,注目ヘッドの同定により経路追従回路の解読を行う。
- 参考スコア(独自算出の注目度): 3.75591091941815
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transformer models underpin many recent advances in practical machine
learning applications, yet understanding their internal behavior continues to
elude researchers. Given the size and complexity of these models, forming a
comprehensive picture of their inner workings remains a significant challenge.
To this end, we set out to understand small transformer models in a more
tractable setting: that of solving mazes. In this work, we focus on the
abstractions formed by these models and find evidence for the consistent
emergence of structured internal representations of maze topology and valid
paths. We demonstrate this by showing that the residual stream of only a single
token can be linearly decoded to faithfully reconstruct the entire maze. We
also find that the learned embeddings of individual tokens have spatial
structure. Furthermore, we take steps towards deciphering the circuity of
path-following by identifying attention heads (dubbed $\textit{adjacency
heads}$), which are implicated in finding valid subsequent tokens.
- Abstract(参考訳): トランスフォーマーモデルは、実用的な機械学習アプリケーションにおける最近の多くの進歩を支えているが、その内部動作を理解することは研究者を遠ざけ続けている。
これらのモデルのサイズと複雑さを考えると、内部の動作を包括的に表現することは大きな課題である。
この目的のために我々は,迷路を解くという,より難解な設定で小さな変圧器モデルを理解することにした。
本研究では,これらのモデルによって形成される抽象概念に着目し,迷路位相と有効経路の構造的内部表現が一貫した出現を示す。
一つのトークンのみの残留ストリームを線形デコードして、迷路全体を忠実に再構築できることを示し、これを実証する。
また,個々のトークンの埋め込みが空間構造を持つこともわかった。
さらに注意ヘッド($\textit{adjacency heads}$)を識別することでパスフォローの回路を解読する。
関連論文リスト
- How Transformers Learn Causal Structure with Gradient Descent [49.808194368781095]
自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。
我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。
我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
論文 参考訳(メタデータ) (2024-02-22T17:47:03Z) - Emergence and Function of Abstract Representations in Self-Supervised
Transformers [0.0]
本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。
ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。
正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
論文 参考訳(メタデータ) (2023-12-08T20:47:15Z) - Transformers are uninterpretable with myopic methods: a case study with
bounded Dyck grammars [36.780346257061495]
解釈可能性法は、訓練されたモデルによって実装されたアルゴリズムを理解することを目的としている。
私たちは、モデルの個々の部分にのみフォーカスするメソッドの批判的な見解を取ります。
論文 参考訳(メタデータ) (2023-12-03T15:34:46Z) - Curve Your Attention: Mixed-Curvature Transformers for Graph
Representation Learning [77.1421343649344]
本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。
また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
論文 参考訳(メタデータ) (2023-09-08T02:44:37Z) - Unsupervised Learning of Invariance Transformations [105.54048699217668]
近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。
重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
論文 参考訳(メタデータ) (2023-07-24T17:03:28Z) - Progress measures for grokking via mechanistic interpretability [27.35925102247588]
モジュール付加タスクを訓練した小型変圧器による「グルーキング」現象について検討した。
以上の結果から,グラッキングは突然のシフトではなく,重みに符号化された構造機構の段階的な増幅から生じることが示唆された。
論文 参考訳(メタデータ) (2023-01-12T18:56:49Z) - What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
変圧器は自己注意を用いて対関係を抽出することができる。
優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。
Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。
TokenPropの正規化対象は、標準トレーニング体制で採用されている。
論文 参考訳(メタデータ) (2022-12-21T15:51:43Z) - Transformers learn in-context by gradient descent [58.24152335931036]
自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。
トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
論文 参考訳(メタデータ) (2022-12-15T09:21:21Z) - Semi-Supervised Manifold Learning with Complexity Decoupled Chart
Autoencoders [65.2511270059236]
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
データ多様体の内在次元に依存するネットワークの理論的近似力について論じる。
論文 参考訳(メタデータ) (2022-08-22T19:58:03Z) - A Compositional Atlas of Tractable Circuit Operations: From Simple
Transformations to Complex Information-Theoretic Queries [44.36335714431731]
本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。
文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
論文 参考訳(メタデータ) (2021-02-11T17:26:32Z) - Masked Language Modeling for Proteins via Linearly Scalable Long-Context
Transformers [42.93754828584075]
我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。
我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。
これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
論文 参考訳(メタデータ) (2020-06-05T17:09:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。