論文の概要: RT-Transformer: The Transformer Block as a Spherical State Estimator
- arxiv url: http://arxiv.org/abs/2605.11007v1
- Date: Sun, 10 May 2026 08:14:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.295167
- Title: RT-Transformer: The Transformer Block as a Spherical State Estimator
- Title（参考訳）: RT変換器:球面状態推定器としての変換器ブロック
- Authors: Peter Racioppo,
- Abstract要約: 本研究では,トランスフォーマーブロックのコアコンポーネントが1つの幾何学的推定問題から自然に生じることを示す。
これらのコンポーネントは、独立したアーキテクチャ選択として導入されるのではなく、推定問題の幾何学から従うことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that the core components of the Transformer block -- attention, residual connections, and normalization -- arise naturally from a single geometric estimation problem. Modeling the latent state as a direction on the hypersphere, with noise defined in the tangent plane at the current estimate, yields a precision-weighted directional inference procedure in which attention aggregates evidence, residual connections implement incremental state updates, and normalization retracts the updated state back onto the hypersphere. Together, these components follow from the geometry of the estimation problem rather than being introduced as independent architectural choices.
- Abstract（参考訳）: 本研究では,トランスフォーマーブロックの中核成分である注意,残差接続,正規化が,1つの幾何学的推定問題から自然に生じることを示す。
潜時状態を超球面上の方向としてモデル化し、現在の推定値で接地平面で定義されたノイズにより、注意が証拠を集約し、残留接続が漸進的な状態更新を実行し、正規化が更新状態を超球面に還元する精度の高い方向推論手順が得られる。
これらのコンポーネントは、独立したアーキテクチャ選択として導入されるのではなく、見積もり問題の幾何学から従う。
関連論文リスト
- Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。
モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
論文 参考訳（メタデータ） (2026-02-04T06:13:11Z) - Geometric Criteria for Complete Mode Conversion in Detuned Systems via Piecewise-Coherent Modulation [0.0]
静的位相変形は非対称古典および量子系のコヒーレント状態転移を制約する。
我々は,結合モード力学を幾何学的軌跡として再キャストする断片的コヒーレント変調のためのブロッホ球定式化を導入する。
論文 参考訳（メタデータ） (2026-01-15T04:44:28Z) - ARGUS: Adaptive Rotation-Invariant Geometric Unsupervised System [0.0]
本稿では,データ多様体の固定空間分割上での局所統計追跡としてドリフト検出を再現するフレームワークであるArgusを紹介する。
正準正則フレーム上のボロノイテッセルレーションは変換に不変なドリフト計量をもたらす。
孤立摂動からコヒーレントな分布シフトを区別するドリフト伝播のグラフ理論的特徴付けを開発した。
論文 参考訳（メタデータ） (2026-01-03T22:39:20Z) - Geometrically Constrained and Token-Based Probabilistic Spatial Transformers [5.437226012505534]
我々は、トランスフォーマーベースのビジョンパイプラインの標準化ツールとして、空間トランスフォーマーネットワーク(STN)を再考する。
本稿では、堅牢性を向上させる確率的、コンポーネントワイドな拡張を提案する。
本手法が他のSTNと比較して頑健さを常に向上することを示す。
論文 参考訳（メタデータ） (2025-09-14T11:30:53Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
幾何データシフトにおける共形予測(CP)の問題について検討する。
本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
論文 参考訳（メタデータ） (2025-06-19T10:12:02Z) - Bridging Geometric States via Geometric Diffusion Bridge [79.60212414973002]
本稿では,初期および対象の幾何状態を正確にブリッジする新しい生成モデリングフレームワークであるGeometric Diffusion Bridge (GDB)を紹介する。
GDBは、幾何学的状態の接続のためにDoobの$h$-transformの修正版から派生した同変拡散ブリッジを使用している。
我々はGDBが既存の最先端のアプローチを超越し、幾何学的状態を正確にブリッジするための新しい経路を開くことを示す。
論文 参考訳（メタデータ） (2024-10-31T17:59:53Z) - SGFormer: Spherical Geometry Transformer for 360 Depth Estimation [52.23806040289676]
パノラマ歪みは360度深度推定において大きな課題となる。
本稿では,SGFormer という球面形状変換器を提案し,上記の問題に対処する。
また、様々な解像度で空間構造を補うために、クエリベースの大域的条件位置埋め込みを提案する。
論文 参考訳（メタデータ） (2024-04-23T12:36:24Z) - Boundary theories of critical matchgate tensor networks [59.433172590351234]
AdS/CFT対応の重要な側面は、双曲格子上のテンソルネットワークモデルの観点から捉えることができる。
マッチゲート制約を満たすテンソルに対しては、これらは以前、乱れた境界状態を生成することが示されている。
これらのハミルトニアンは、解析的な玩具モデルによって捉えられたマルチスケールの準周期対称性を示す。
論文 参考訳（メタデータ） (2021-10-06T18:00:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。