論文の概要: Structured World Representations in Maze-Solving Transformers

• arxiv url: http://arxiv.org/abs/2312.02566v1
• Date: Tue, 5 Dec 2023 08:24:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 16:30:27.244733
• Title: Structured World Representations in Maze-Solving Transformers
• Title（参考訳）: 迷路ソルビング変圧器の構造的世界表現
• Authors: Michael Igorevich Ivanitskiy, Alex F. Spies, Tilman R\"auker, Guillaume Corlouer, Chris Mathwin, Lucia Quirke, Can Rager, Rusheb Shah, Dan Valentine, Cecilia Diniz Behn, Katsumi Inoue, Samy Wu Fung
• Abstract要約: この研究は、小さなトランスモデルによって形成された抽象化に焦点を当てている。 迷路位相と有効経路の構造的内部表現が一貫した出現を示す証拠を見出した。 また,注目ヘッドの同定により経路追従回路の解読を行う。
• 参考スコア（独自算出の注目度）: 3.75591091941815
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Transformer models underpin many recent advances in practical machine learning applications, yet understanding their internal behavior continues to elude researchers. Given the size and complexity of these models, forming a comprehensive picture of their inner workings remains a significant challenge. To this end, we set out to understand small transformer models in a more tractable setting: that of solving mazes. In this work, we focus on the abstractions formed by these models and find evidence for the consistent emergence of structured internal representations of maze topology and valid paths. We demonstrate this by showing that the residual stream of only a single token can be linearly decoded to faithfully reconstruct the entire maze. We also find that the learned embeddings of individual tokens have spatial structure. Furthermore, we take steps towards deciphering the circuity of path-following by identifying attention heads (dubbed $\textit{adjacency heads}$), which are implicated in finding valid subsequent tokens.
• Abstract（参考訳）: トランスフォーマーモデルは、実用的な機械学習アプリケーションにおける最近の多くの進歩を支えているが、その内部動作を理解することは研究者を遠ざけ続けている。 これらのモデルのサイズと複雑さを考えると、内部の動作を包括的に表現することは大きな課題である。 この目的のために我々は,迷路を解くという,より難解な設定で小さな変圧器モデルを理解することにした。 本研究では,これらのモデルによって形成される抽象概念に着目し,迷路位相と有効経路の構造的内部表現が一貫した出現を示す。 一つのトークンのみの残留ストリームを線形デコードして、迷路全体を忠実に再構築できることを示し、これを実証する。 また,個々のトークンの埋め込みが空間構造を持つこともわかった。 さらに注意ヘッド($\textit{adjacency heads}$)を識別することでパスフォローの回路を解読する。

関連論文リスト

• Counterfactual Explanations via Riemannian Latent Space Traversal [6.6622532846616505]
  反現実的な説明は実践者に実行可能な説明を提供するための強力なツールを形成する。 そこで本研究では,デコーダと分類器を介して引き戻された計量を用いて,実測的な説明を行う。 このメトリクスは、データの複雑な幾何学的構造と学習された表現に関する情報を符号化し、高い忠実度を持つ堅牢な反事実軌道を得ることを可能にする。
  論文  参考訳（メタデータ） (2024-11-04T16:49:39Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Emergence and Function of Abstract Representations in Self-Supervised Transformers [0.0]
  本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。 ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。 正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
  論文  参考訳（メタデータ） (2023-12-08T20:47:15Z)
• Transformers are uninterpretable with myopic methods: a case study with bounded Dyck grammars [36.780346257061495]
  解釈可能性法は、訓練されたモデルによって実装されたアルゴリズムを理解することを目的としている。 私たちは、モデルの個々の部分にのみフォーカスするメソッドの批判的な見解を取ります。
  論文  参考訳（メタデータ） (2023-12-03T15:34:46Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Transformers learn in-context by gradient descent [58.24152335931036]
  自己回帰目標におけるトランスフォーマーの訓練は、勾配に基づくメタラーニングの定式化と密接に関連している。 トレーニングされたトランスフォーマーがメザ最適化器となる方法,すなわち,前方通過における勾配降下によるモデル学習方法を示す。
  論文  参考訳（メタデータ） (2022-12-15T09:21:21Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• A Compositional Atlas of Tractable Circuit Operations: From Simple Transformations to Complex Information-Theoretic Queries [44.36335714431731]
  本稿では,回路上のモジュラー操作において,機械学習の複雑な推論シナリオがいかに表現できるかを示す。 文献におけるいくつかの結果を一般化し,新たな抽出可能な推論シナリオを開放する,抽出可能なモデルについて推論するための統一的な枠組みを導出する。
  論文  参考訳（メタデータ） (2021-02-11T17:26:32Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。