論文の概要: Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium
- arxiv url: http://arxiv.org/abs/2508.21186v1
- Date: Thu, 28 Aug 2025 20:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:10.864759
- Title: Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium
- Title（参考訳）: 次世代予測におけるマニフォールド軌道:リプリケータダイナミクスからソフトマックス平衡へ
- Authors: Christopher R. Lee-Jenkins,
- Abstract要約: 大規模言語モデルでの復号化はしばしばスコアリングトークンとソフトマックスによる正規化と表現される。
我々は、このステップの自己完結した幻覚を、確率単純性上の制約付き変分原理として与える。
固定された文脈と温度に対して、次トーケン分布は単純体内部の滑らかな軌道を辿り、ソフトマックス平衡に収束することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoding in large language models is often described as scoring tokens and normalizing with softmax. We give a minimal, self-contained account of this step as a constrained variational principle on the probability simplex. The discrete, normalization-respecting ascent is the classical multiplicative-weights (entropic mirror) update; its continuous-time limit is the replicator flow. From these ingredients we prove that, for a fixed context and temperature, the next-token distribution follows a smooth trajectory inside the simplex and converges to the softmax equilibrium. This formalizes the common ``manifold traversal'' intuition at the output-distribution level. The analysis yields precise, practice-facing consequences: temperature acts as an exact rescaling of time along the same trajectory, while top-k and nucleus sampling restrict the flow to a face with identical guarantees. We also outline a controlled account of path-dependent score adjustments and their connection to loop-like, hallucination-style behavior. We make no claims about training dynamics or internal representations; those are deferred to future work.
- Abstract（参考訳）: 大規模言語モデルでの復号化はしばしばスコアリングトークンとソフトマックスによる正規化と表現される。
我々は、このステップの最小かつ自己完結した説明を、確率単純性上の制約付き変分原理として与える。
離散的、正規化を反映する上昇は古典的乗法重み(エントロピーミラー)の更新であり、その連続時間制限は複製子フローである。
これらの成分から、固定された状況と温度に対して、次トーケン分布は単純体内部の滑らかな軌道を辿り、ソフトマックス平衡に収束することを示した。
これは共通の `manifold traversal'' の直観を出力分布レベルで定式化する。
温度は同じ軌道に沿って正確な時間の再スケーリングとして機能し、トップkと核のサンプリングは同じ保証で顔への流れを制限する。
また,経路依存的なスコア調整とループ的,幻覚的行動との関連性についても概説した。
トレーニングのダイナミックさや内部表現については何も主張していません。
関連論文リスト
- Quantum Rabi oscillations in the semiclassical limit: backreaction on the cavity field and entanglement [89.99666725996975]
強い原子-磁場結合では、$pi $pulseの持続時間が100omega -1$以下である場合、原子励起確率の挙動は教科書から大きく逸脱する。
この研究の残りの部分では、空洞上の量子ビットのバックリアクションと結果として生じる原子-磁場の絡み合いを数値的に研究する。
論文 参考訳（メタデータ） (2025-04-12T23:24:59Z) - Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。
それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。
本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
論文 参考訳（メタデータ） (2024-06-13T20:22:38Z) - Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram
Iteration [122.51142131506639]
循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。
提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。
これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
論文 参考訳（メタデータ） (2023-05-25T15:32:21Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Distribution of Kinks in an Ising Ferromagnet After Annealing and the
Generalized Kibble-Zurek Mechanism [0.8258451067861933]
温度クエンチによって誘導される一次元のイジングマグネットを有限時間で考える。
累積体の普遍的パワー-ロースケーリングはグラウバー力学に基づく数値シミュレーションによって近似される。
我々は, 線形, 非線形, 指数的な冷却スケジュールを考慮し, 後者は所定時間で冷却する最も効率的なショートカットを提供する。
論文 参考訳（メタデータ） (2021-05-19T13:58:33Z) - Decoherent Quench Dynamics across Quantum Phase Transitions [0.0]
即時ハミルトニアンの連続量子非破壊測定によって引き起こされるデコヒーレントダイナミクスを定式化する。
臨界点を横断する線形時間駆動に対するよく研究された普遍的キブル・ズレーク挙動を一般化する。
本研究では, ホール導電率の緩和からフリーズアウト時間スケールを推定できることを示す。
論文 参考訳（メタデータ） (2021-03-14T23:43:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。