論文の概要: Fully Interpretable Minimal Transformers: From Geometry to Algorithm

• arxiv url: http://arxiv.org/abs/2610.09838v1
• Date: Wed, 07 Oct 2026 11:01:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.868591
• Title: Fully Interpretable Minimal Transformers: From Geometry to Algorithm
• Title（参考訳）: 完全解釈可能な最小変換器:幾何学からアルゴリズムへ
• Abstract要約: 最小限の変換器モデルの構築と解釈のためのフレームワークを提案する。 変換器の埋め込み次元と頭の大きさを2に制限することにより、内部表現の完全な2次元可視化を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a framework for building and interpreting minimal transformer models. By constraining a transformer's embedding dimension and head size to 2, we enable full two-dimensional visualization of its internal representations. Embeddings, query/key/value transforms, attention outputs, residual streams, and decision boundaries can all be seen directly. Our central claim is that the learned geometry implies an algorithm; the arrangement of points and boundaries in R^2 can be read as a step-by-step procedure. We train a transformer on a simple task where it must produce the most recently observed even number whenever the '+' operator appears in a sequence of digits. Once trained, we visually walk through every step of the transformer's computation. We show how the model embeds the tokens and their respective positions in the sequence, transforms them via the Q, K, and V matrices, uses the dot product between the Q and K representations to form the attention matrix, and uses the attention matrix to select values that move the representation of each input token to the region of the domain of the output layer that will correctly predict the next token. We introduce a suite of interpretability visualizations that make the algorithmic interpretation of this procedure explicit. Our framework offers a pedagogical and experimental testbed to explore how transformers use informational geometry to implement next-token prediction.
• Abstract（参考訳）: 最小限の変換器モデルの構築と解釈のためのフレームワークを提案する。 変換器の埋め込み次元と頭の大きさを2に制限することにより、内部表現の完全な2次元可視化を可能にする。 埋め込み、クエリ/キー/バリュー変換、アテンション出力、残留ストリーム、決定境界などがすべて直接表示される。 我々の主張では、学習された幾何学はアルゴリズムを意味しており、R^2における点と境界の配置はステップバイステップの手順として読むことができる。 我々は、'+'演算子が桁数列に現れるたびに、最も最近観測された偶数を生成するような単純なタスクでトランスフォーマーを訓練する。 トレーニングが完了すると、トランスフォーマーの計算のすべてのステップを視覚的に通過します。 モデルがどのようにトークンとその各位置をシーケンスに埋め込んで、Q,K,V行列を介して変換し、Q,K表現間のドット積を用いて注目行列を形成し、各入力トークンの表現を次のトークンを正しく予測する出力層の領域に移動させる値を選択する。 本稿では,この手順のアルゴリズム的解釈を明示する,解釈可能性可視化のスイートを紹介する。 我々のフレームワークは、トランスフォーマーが情報幾何学を用いて次世代の予測を実装する方法を研究するための、教育的で実験的なテストベッドを提供する。

関連論文リスト

• Pattern Formation in Transformers [29.555581122914727]
  変換器の動的ビューは位置を考慮できることを示す。 注意、多面的注意、出力値幾何学。 我々は,どのパターンが増幅され,どのパターンが安定化し,競合し,共存するかを制御する上で,各アーキテクチャコンポーネントの役割を特徴づける。
  論文  参考訳（メタデータ） (2026-09-29T16:15:15Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• VISIT: Visualizing and Interpreting the Semantic Information Flow of Transformers [45.42482446288144]
  近年の解釈可能性の進歩は、トランスフォーマーベース言語モデルの重みと隠れ状態を語彙に投影できることを示唆している。 LMアテンションヘッドとメモリ値、モデルが与えられた入力を処理しながら動的に生成し、リコールするベクトルについて検討する。 対話型フローグラフとして生成事前学習変換器(GPT)の前方通過を可視化するツールを作成する。
  論文  参考訳（メタデータ） (2023-05-22T19:04:56Z)
• Vision Transformer with Quadrangle Attention [76.35955924137986]
  窓面に基づく注意を一般的な四角形定式化に拡張する新しい四角形注意法(QA)を提案する。 提案手法では,既定のウィンドウを対象の四角形に変換するために,変換行列を予測し,エンドツーエンドで学習可能な四角形回帰モジュールを用いる。 QAをプレーンかつ階層的な視覚変換器に統合し、QFormerという名の新しいアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-03-27T11:13:50Z)
• Attention Flows for General Transformers [3.4123736336071864]
  本研究では,エンコーダのみのトランスフォーマーモデルの注意値からフローネットワークを構築する手法を定式化する。 フローネットワーク構築における最大フローアルゴリズムの実行により,Shapleyの値が得られることを示す。 任意のTransformerモデルのアテンションフローを計算し視覚化するライブラリを提供する。
  論文  参考訳（メタデータ） (2022-05-30T19:12:49Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
  トランスアーキテクチャにおけるアライメント方式を初めて導入する。 本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。 AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
  論文  参考訳（メタデータ） (2021-04-02T08:00:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。