Fugu-MT 論文翻訳(概要): Kinetic theory for Transformers and the lost-in-the-middle phenomenon

論文の概要: Kinetic theory for Transformers and the lost-in-the-middle phenomenon

arxiv url: http://arxiv.org/abs/2605.09213v1
Date: Sat, 09 May 2026 23:16:19 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:50.116564
Title: Kinetic theory for Transformers and the lost-in-the-middle phenomenon
Title（参考訳）: 変圧器の運動理論と中途半端現象
Abstract要約: 我々は、デコーダトランスフォーマーのおもちゃモデルである因果自己注意ダイナミクスについて研究する。一様分散トークンの場合、制限相関方程式は閉じた形で解ける。
参考スコア（独自算出の注目度）: 1.0705399532413615
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study causal self-attention dynamics -- a toy model for decoder Transformers -- which we interpret as a non-exchangeable interacting particle system. Adapting cumulant expansions to the triangular causal dependency structure of the model, and appealing to non-hierarchical methods to estimate correlations using Glauber calculus, we prove a quantitative mean-field limit result and a next-order characterization of correlations. For iid uniformly distributed tokens, the limiting correlation equation can be solved in closed form and we obtain a rigorous explanation of the empirically observed \emph{lost-in-the-middle} phenomenon: the token retrieval profile, as a function of the source position in the prompt, is $\mathsf{U}$-shaped, with primacy, recency, and a unique interior minimum under an explicit smallness condition.
Abstract（参考訳）: 我々は、デコーダトランスフォーマーの玩具モデルである因果自己注意力学を、交換不能な相互作用粒子系として解釈する。モデルの三角形因果依存性構造に累積展開を適応させ、グラウバー計算を用いて相関を推定する非階層的手法に訴え、定量的平均場制限結果と相関の次次評価を証明した。一様分散トークンの場合、制限相関方程式を閉じた形で解き、経験的に観察された 'emph{lost-in-the-middle} 現象の厳密な説明を得る。

関連論文リスト

A Free Probabilistic Framework for Denoising Diffusion Models: Entropy, Transport, and Reverse Processes [22.56299060022639]
本稿では、自由エントロピーと自由フィッシャー情報の理論に基づく。我々は拡散を定式化し、演算子値のダイナミクスによって支配される逆過程を定量化する。結果として生じる力学は、非可換ワッサーシュタイン空間における勾配-フロー構造を持つ。
論文参考訳（メタデータ） (2025-10-26T18:03:54Z)
Loss-Complexity Landscape and Model Structure Functions [53.92822954974537]
我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。情報理論構造と統計力学の数学的類似性を確立する。構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
論文参考訳（メタデータ） (2025-07-17T21:31:45Z)
Overcoming Dimensional Factorization Limits in Discrete Diffusion Models through Quantum Joint Distribution Learning [79.65014491424151]
量子離散化拡散確率モデル(QD3PM)を提案する。これは、指数関数的に大きなヒルベルト空間における拡散と denoising を通じて合同確率学習を可能にする。本稿では,共同分布学習における量子的優位性を生かして,生成モデルの新たな理論的パラダイムを確立する。
論文参考訳（メタデータ） (2025-05-08T11:48:21Z)
Weak-valued correlation functions: Insights and precise readout strategies [5.3876722808329935]
量子系の相関関数は、それらの性質を復号し、物理現象に関する洞察を得る上で重要な役割を果たす。弱値相関関数を定義することにより、弱い測定により装置に記録するための基本的な洞察と普遍的な方法を提案する。
論文参考訳（メタデータ） (2023-06-07T12:58:44Z)
Stochastic Modified Equations and Dynamics of Dropout Algorithm [4.811269936680572]
ドロップアウトはニューラルネットワークのトレーニングにおいて広く利用されている正規化技術である。その基盤となるメカニズムと優れた能力を達成するための影響は、いまだに理解されていない。
論文参考訳（メタデータ） (2023-05-25T08:42:25Z)
A statistical approach to topological entanglement: Boltzmann machine representation of high-order irreducible correlation [6.430262211852815]
高次相関の量子アナログは、0温度の物質のトポロジカル秩序状態におけるトポロジカル絡みである。本研究では,この2つを同じ情報理論の枠組みで統一する統計的解釈を提案する。
論文参考訳（メタデータ） (2023-02-07T02:49:21Z)
An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。 intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文参考訳（メタデータ） (2022-01-29T02:14:24Z)
Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文参考訳（メタデータ） (2022-01-25T17:13:56Z)
Emergent fractal phase in energy stratified random models [0.0]
長距離確率行列モデルの運動ホッピング項における偏相関が局在特性に及ぼす影響について検討した。完全に相関した症例から逸脱すると,システム内の非エルゴディックな非局在化が生じる。
論文参考訳（メタデータ） (2021-06-07T18:00:01Z)
Out-of-time-order correlations and the fine structure of eigenstate thermalisation [58.720142291102135]
量子情報力学と熱化を特徴付けるツールとして、OTOC(Out-of-time-orderor)が確立されている。我々は、OTOCが、ETH(Eigenstate Thermalisation hypothesis)の詳細な詳細を調査するための、本当に正確なツールであることを明確に示している。無限温度状態における局所作用素の和からなる可観測物の一般クラスに対して、$omega_textrmGOE$の有限サイズスケーリングを推定する。
論文参考訳（メタデータ） (2021-03-01T17:51:46Z)
Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。