論文の概要: The Geometry of Thought: Disclosing the Transformer as a Tropical Polynomial Circuit
- arxiv url: http://arxiv.org/abs/2601.09775v1
- Date: Wed, 14 Jan 2026 18:05:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-16 19:43:18.855908
- Title: The Geometry of Thought: Disclosing the Transformer as a Tropical Polynomial Circuit
- Title（参考訳）: 思考の幾何学:熱帯多項式回路としての変圧器の開示
- Authors: Faruk Alpay, Bilge Senturk,
- Abstract要約: ソフトマックスアテンションの熱帯限界を捉えることで、熱帯マトリックス生成物に変換できることが示される。
これにより、Transformerのフォワードパスが動的プログラミングの繰り返しを効果的に実行していることが分かる。
- 参考スコア（独自算出の注目度）: 0.2864713389096699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove that the Transformer self-attention mechanism in the high-confidence regime ($β\to \infty$, where $β$ is an inverse temperature) operates in the tropical semiring (max-plus algebra). In particular, we show that taking the tropical limit of the softmax attention converts it into a tropical matrix product. This reveals that the Transformer's forward pass is effectively executing a dynamic programming recurrence (specifically, a Bellman-Ford path-finding update) on a latent graph defined by token similarities. Our theoretical result provides a new geometric perspective for chain-of-thought reasoning: it emerges from an inherent shortest-path (or longest-path) algorithm being carried out within the network's computation.
- Abstract（参考訳）: 高信頼状態(β\to \infty$, ここではβ$は逆温度)におけるトランスフォーマー自己アテンション機構が熱帯半環 (max-plus algebra) で作用することを証明する。
特に,ソフトマックスアテンションの熱帯限界を捉えることで,熱帯マトリックス生成物に変換されることを示す。
このことは、Transformerのフォワードパスが、トークン類似性によって定義された潜在グラフ上で動的プログラミングの繰り返し(具体的にはBellman-Fordパスフィニング更新)を効果的に実行していることを明らかにする。
我々の理論的結果は、ネットワークの計算内で実行されている本質的な最短パス(または最長パス)アルゴリズムから現れる、チェーン・オブ・ソート推論の新しい幾何学的視点を提供する。
関連論文リスト
- Deep Delta Learning [91.75868893250662]
本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。
我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。
この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
論文 参考訳（メタデータ） (2026-01-01T18:11:38Z) - Tropical Attention: Neural Algorithmic Reasoning for Combinatorial Algorithms [1.43494686131174]
本稿では,注意核を熱帯射影空間に引き上げる,熱帯幾何学に基づく注意機構である熱帯注意機構を紹介する。
本稿では,熱帯アテンション(Tropical Attention, 熱帯アテンション)が, 摂動騒音に対する強い頑健さと, 長さと値の両方において, より強い分布一般化をもたらすことを示す。
初めて、PTIME問題以外の神経推論をNP-hardおよびNP-complete問題に拡張する。
論文 参考訳（メタデータ） (2025-05-22T18:01:25Z) - Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。
この設定における多層トランスの理論的解析はこれが初めてである。
論文 参考訳（メタデータ） (2024-10-10T18:29:05Z) - Can Transformers Do Enumerative Geometry? [44.99833362998488]
計算列挙幾何に対する Transformer ベースのアプローチを提案する。
私たちは、10-45$から1045$までの値の交叉数を計算します。
ネットワークは、純粋にデータ駆動方式で、ヴィラソロ制約を暗黙的にモデル化していることを示す。
論文 参考訳（メタデータ） (2024-08-27T09:44:01Z) - Geometric Dynamics of Signal Propagation Predict Trainability of
Transformers [22.25628914395565]
深部変圧器における前方信号伝搬と勾配バック伝搬について検討する。
我々のアプローチは、変換器層を通して伝播する$nトークンの進化を扱う。
実験を通して、トレーニング終了時の最終的なテスト損失は、これらの2つの指数だけで十分に予測されていることを示す。
論文 参考訳（メタデータ） (2024-03-05T01:30:34Z) - Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
提案手法を拡張・結合する新しい手法を提案し,検討する。
論文 参考訳（メタデータ） (2024-02-01T19:47:31Z) - Transformers Learn Shortcuts to Automata [52.015990420075944]
低深度変換器は任意の有限状態オートマトンを計算できる。
我々は,$O(log T)$レイヤを持つ変換器が,長さ$T$の入力シーケンス上で,オートマトンを正確に再現可能であることを示す。
さらに、これらの解の脆性について検討し、潜在的な緩和を提案する。
論文 参考訳（メタデータ） (2022-10-19T17:45:48Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。