論文の概要: Perceptrons and localization of attention's mean-field landscape
- arxiv url: http://arxiv.org/abs/2601.21366v1
- Date: Thu, 29 Jan 2026 07:47:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-30 16:22:49.654715
- Title: Perceptrons and localization of attention's mean-field landscape
- Title（参考訳）: 注意場景観の知覚と地域化
- Authors: Antonio Álvarez-López, Borjan Geshkovski, Domènec Ruiz-Balet,
- Abstract要約: この設定におけるパーセプトロンブロックの効果について検討し、臨界点が一般原子であり、球の部分集合上で局所化されていることを示す。
- 参考スコア（独自算出の注目度）: 0.764671395172401
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The forward pass of a Transformer can be seen as an interacting particle system on the unit sphere: time plays the role of layers, particles that of token embeddings, and the unit sphere idealizes layer normalization. In some weight settings the system can even be seen as a gradient flow for an explicit energy, and one can make sense of the infinite context length (mean-field) limit thanks to Wasserstein gradient flows. In this paper we study the effect of the perceptron block in this setting, and show that critical points are generically atomic and localized on subsets of the sphere.
- Abstract（参考訳）: トランスフォーマーの前方通過は、単位球上の相互作用する粒子系として見ることができ、時が層、トークン埋め込みの粒子の役割を担い、単位球は層正規化を理想化する。
いくつかの重み設定では、系は明示的なエネルギーの勾配流と見なすことができ、ワッサーシュタイン勾配流のおかげで無限の文脈長(平均場)の極限を理解することができる。
本稿では、この設定におけるパーセプトロンブロックの効果について検討し、臨界点が一般原子であり、球の部分集合上で局所化されていることを示す。
関連論文リスト
- Real-time collisions of fractional charges in a trapped-ion Jackiw-Rebbi field theory [39.146761527401424]
フルフェルミオン・ボソン系の結合力学に及ぼすバック・リアクションと量子揺らぎの影響について検討する。
この結果から, 後方反応と量子揺らぎが, 分数化フェルミオンの安定性とリアルタイムな進化をいかに変化させるかが明らかとなった。
論文 参考訳（メタデータ） (2025-12-08T17:34:53Z) - Unscrambling of single-particle wave functions in systems localized through disorder and monitoring [0.0]
本研究では,局所粒子を正確に特徴付ける自由フェルミオン波動関数のスレーター行列式を求めるプロセスを開発する。
その結果, 単一粒子波動関数を応用して, 観測された自由フェルミオンや乱れモデルなどのシステムにおける局在化遷移特性について, 貴重な知見を得ることが可能となった。
論文 参考訳（メタデータ） (2024-03-15T23:16:44Z) - Unveiling the Quantum Toroidal Dipole [41.99844472131922]
ナノ構造におけるTDの完全な量子力学的定式化について述べる。
直接測定のための最初の分光法を提案する。
これは明快な実験的な青写真を提供し、この明快な第3のマルチポールモーメントを公表し、測定し、特徴づける。
論文 参考訳（メタデータ） (2024-01-26T13:31:32Z) - Optimal Superpositions for Particle Detection via Quantum Phase [0.0]
新たな量子センサーの最先端の提案は、しばしば大きな重ね合わせの生成に依存している。
量子重畳系における配向粒子環境と系との散乱相互作用を考察する。
相対的な位相を通した入射粒子の「最適重ね合わせ」サイズが存在することがわかった。
論文 参考訳（メタデータ） (2023-07-27T20:30:20Z) - Adiabatic pumping and transport in the Sierpinski-Hofstadter model [0.0]
垂直磁場の存在下での自己相似構造について位相位相が報告されている。
この構造を通してフラックス管を挿入した場合のスペクトル流とそれに伴う電荷の汲み上げを数値的に検討する。
論文 参考訳（メタデータ） (2023-04-21T18:20:02Z) - Real-space detection and manipulation of topological edge modes with
ultracold atoms [56.34005280792013]
光学格子におけるキラルエッジモードを実現するための実験的プロトコルを実証する。
3つの異なるフロケトポロジカルな状態において,これらのエッジモードの粒子を効率的に調製する方法を示す。
本研究では, 界面にエッジモードが出現し, 電位ステップのシャープネスが変化するにつれて, 粒子の群速度がどう変化するかを検討する。
論文 参考訳（メタデータ） (2023-04-04T17:36:30Z) - Unsupervised Image Representation Learning with Deep Latent Particles [27.256381759225896]
物体の位置を外見から切り離す視覚データの表現を提案する。
我々の手法はディープ潜時粒子 (DLP) と呼ばれ、低次元潜時粒子への視覚的入力を分解する。
論文 参考訳（メタデータ） (2022-05-31T14:23:37Z) - Zitterbewegung and Klein-tunneling phenomena for transient quantum waves [77.34726150561087]
我々は、Zitterbewegung効果が、長期の極限における粒子密度の一連の量子ビートとして現れることを示した。
また、点源の粒子密度が主波面の伝播によって制御される時間領域も見出す。
これらの波面の相対的な位置は、クライン・トンネル系における量子波の時間遅延を研究するために用いられる。
論文 参考訳（メタデータ） (2020-03-09T21:27:02Z) - Feynman Propagator for a System of Interacting Scalar Particles in the
Fokker Theory [62.997667081978825]
一般化位相空間上の函数積分は、量子論における初期積分として定義される。
世界粒子線の一般化構成空間における積分の尺度を決定する。
ミンコフスキー空間の粒子の時間座標によって独立時間パラメータの役割を取られるプロパゲータの修正を提案する。
論文 参考訳（メタデータ） (2020-02-10T09:09:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。