論文の概要: Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium

• arxiv url: http://arxiv.org/abs/2508.21186v1
• Date: Thu, 28 Aug 2025 20:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.864759
• Title: Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium
• Title（参考訳）: 次世代予測におけるマニフォールド軌道:リプリケータダイナミクスからソフトマックス平衡へ
• Authors: Christopher R. Lee-Jenkins,
• Abstract要約: 大規模言語モデルでの復号化はしばしばスコアリングトークンとソフトマックスによる正規化と表現される。 我々は、このステップの自己完結した幻覚を、確率単純性上の制約付き変分原理として与える。 固定された文脈と温度に対して、次トーケン分布は単純体内部の滑らかな軌道を辿り、ソフトマックス平衡に収束することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding in large language models is often described as scoring tokens and normalizing with softmax. We give a minimal, self-contained account of this step as a constrained variational principle on the probability simplex. The discrete, normalization-respecting ascent is the classical multiplicative-weights (entropic mirror) update; its continuous-time limit is the replicator flow. From these ingredients we prove that, for a fixed context and temperature, the next-token distribution follows a smooth trajectory inside the simplex and converges to the softmax equilibrium. This formalizes the common ``manifold traversal'' intuition at the output-distribution level. The analysis yields precise, practice-facing consequences: temperature acts as an exact rescaling of time along the same trajectory, while top-k and nucleus sampling restrict the flow to a face with identical guarantees. We also outline a controlled account of path-dependent score adjustments and their connection to loop-like, hallucination-style behavior. We make no claims about training dynamics or internal representations; those are deferred to future work.
• Abstract（参考訳）: 大規模言語モデルでの復号化はしばしばスコアリングトークンとソフトマックスによる正規化と表現される。 我々は、このステップの最小かつ自己完結した説明を、確率単純性上の制約付き変分原理として与える。 離散的、正規化を反映する上昇は古典的乗法重み(エントロピーミラー)の更新であり、その連続時間制限は複製子フローである。 これらの成分から、固定された状況と温度に対して、次トーケン分布は単純体内部の滑らかな軌道を辿り、ソフトマックス平衡に収束することを示した。 これは共通の `manifold traversal'' の直観を出力分布レベルで定式化する。 温度は同じ軌道に沿って正確な時間の再スケーリングとして機能し、トップkと核のサンプリングは同じ保証で顔への流れを制限する。 また,経路依存的なスコア調整とループ的,幻覚的行動との関連性についても概説した。 トレーニングのダイナミックさや内部表現については何も主張していません。

関連論文リスト

• Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting [6.369253528507392]
  反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
  論文  参考訳（メタデータ） (2026-02-15T07:28:12Z)
• Clustering in Deep Stochastic Transformers [10.988655177671255]
  層正規化を伴うディープトランスフォーマーの既存の理論は、通常、トークンが単一のポイントにクラスタされることを予測している。 ランダムな値からノイズが発生する深層変圧器を解析する。 2つのトークンに対して、相互作用強度とトークン次元によって支配される相転移を証明します。
  論文  参考訳（メタデータ） (2026-01-29T16:28:13Z)
• Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds [0.4779196219827507]
  本研究では,トランスフォーマーアテンションヘッドにおいて,クロスエントロピートレーニングがアテンションスコアとバリューベクターをいかに再帰させるかを示す。 私たちの中核的な成果は、注目スコアに対する強調に基づくルーティング法です。 この結合された特殊化は、2時間規模のEMプロシージャのように振る舞うことを示す。
  論文  参考訳（メタデータ） (2025-12-27T05:31:44Z)
• Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium [0.6820746164515952]
  閉ループ予測の原理を導入し、自己整合平衡に達するまで、モデルが反復的に潜在表現を洗練することを要求する。 この原理をEquilibrium Transformerとしてインスタンス化し,標準トランス層をEquilibrium Refinement Moduleで拡張する。 バイナリパリティタスクに関する予備実験では、チャレンジシーケンスの平均改善率は+3.28%で、標準トランスフォーマーがランダムなパフォーマンスに近づくと+8.07%に達する。
  論文  参考訳（メタデータ） (2025-11-26T20:02:59Z)
• On the flow matching interpretability [2.816392009888047]
  本稿では,既知の物理分布から各フローステップを抽出するフレームワークを提案する。 流れの軌跡は、シミュレートされた物理過程の平衡状態にマッピングされる(そしてトラバースに制約される)。 このことは、生成フローに物理的意味論を埋め込むことで、神経軌跡を解釈可能な物理過程に変換することを示している。
  論文  参考訳（メタデータ） (2025-10-24T07:26:45Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Quantum Rabi oscillations in the semiclassical limit: backreaction on the cavity field and entanglement [89.99666725996975]
  強い原子-磁場結合では、$pi $pulseの持続時間が100omega -1$以下である場合、原子励起確率の挙動は教科書から大きく逸脱する。 この研究の残りの部分では、空洞上の量子ビットのバックリアクションと結果として生じる原子-磁場の絡み合いを数値的に研究する。
  論文  参考訳（メタデータ） (2025-04-12T23:24:59Z)
• Improving Consistency Models with Generator-Augmented Flows [16.049476783301724]
  一貫性モデルは、ニューラルネットワークの単一前方通過におけるスコアベース拡散の多段階サンプリングを模倣する。 それらは、一貫性の蒸留と一貫性のトレーニングの2つの方法を学ぶことができる。 本稿では,一貫性モデルから得られたノイズデータを対応する出力へ転送する新しい流れを提案する。
  論文  参考訳（メタデータ） (2024-06-13T20:22:38Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Distribution of Kinks in an Ising Ferromagnet After Annealing and the Generalized Kibble-Zurek Mechanism [0.8258451067861933]
  温度クエンチによって誘導される一次元のイジングマグネットを有限時間で考える。 累積体の普遍的パワー-ロースケーリングはグラウバー力学に基づく数値シミュレーションによって近似される。 我々は, 線形, 非線形, 指数的な冷却スケジュールを考慮し, 後者は所定時間で冷却する最も効率的なショートカットを提供する。
  論文  参考訳（メタデータ） (2021-05-19T13:58:33Z)
• Decoherent Quench Dynamics across Quantum Phase Transitions [0.0]
  即時ハミルトニアンの連続量子非破壊測定によって引き起こされるデコヒーレントダイナミクスを定式化する。 臨界点を横断する線形時間駆動に対するよく研究された普遍的キブル・ズレーク挙動を一般化する。 本研究では, ホール導電率の緩和からフリーズアウト時間スケールを推定できることを示す。
  論文  参考訳（メタデータ） (2021-03-14T23:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。